[討論] 分享個人爬蟲資料 ( PTT文章 )

[f496328mm (123)]

分享給對text mining有興趣的朋友

以下是我個人架設的 MySQL 平台

目前累積超過 500 萬篇 ptt 文章 ( 包含八卦版，總共36GB )，連結如下

http://114.34.138.146/phpmyadmin/



另外以下連結是我的 github ，有對平台做一些介紹，

https://github.com/f496328mm/Crawler_and_Share



github中提供關於 py 連上 MySQL 的範例

1.
py_connect_sql_example.py，可自由取得 SQL 中的 data，該程式中已將格式轉為

dataframe ，利於分析。

2.
upload_clean_data.py，可上傳 data 的帳號，提供各位進行 data clean 後，

一個上傳/分享的管道，這樣就不需要每個人都進行 data clean，合作的概念。

程式中提供建立 data file 和上傳 data 的範例。



PS : 如需其他 PTT 文章，可以私訊我，我會優先進行爬蟲。

PS2: 本人在當兵中，放假不固定，有時間會上 github or ptt 進行回覆。

----------------------------------------------------------------------

另外即使我當兵期間，程式也設定好，每天爬取新文章 and 舊的文章，

基本上 500 萬篇應該超過 PTT 一半以上的文章了吧?

如果有些版，特別多文章，而我沒有注意到，麻煩再寄信提醒我，謝謝

---------------------------------------------------------------------

如果有建議也歡迎提供，本人數學系出身，這方面沒什麼經驗，

幾乎都是土法煉鋼


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.63.132
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1509802847.A.AFB.html
推 janice001: 。
推 shuwei12: 推  我也是用python寫 還有搭配mail會通知
→ shuwei12: 為了抓股版的抄底王XD
推 goldflower: 話說我每次都在想  不想被放在ptt以外的人可以告嗎XD
推 Sunal: 樓上是想說智財的重製跟散佈？
→ vi000246: 站方本身是不允許這種備份行為的.. 只是抓不到
推 alan23273850: 如果不允許，那麼fb的出賣表特又該如何解釋呢？
→ vi000246: 違反站規的事情你做了沒被抓不代表站方默許
→ vi000246: 可以去看看PttAntiBot這個看板
→ vi000246: 如果是單個爬蟲就算了 做了分散式爬蟲算是DDOS了
→ vi000246: 要用法律治你也是可以的
→ f496328mm: 樓上其實說的沒錯，爬蟲有點遊走在法律邊緣，甚至有些
→ f496328mm: 網站會擋，程式瀏覽網頁跟人的行為非常不同，不難抓/
→ f496328mm: 擋
推 bluecadence: 除非要玩文字探勘不然架這個用途想不太出要做什麼，
→ bluecadence: 不如架一個股票股價相關資訊的資料庫應該會大受歡迎
→ bluecadence: (純屬個人偏見)
→ bluecadence: 不過受歡迎後吃掉的頻寬/資源就很可觀了 :p
→ f496328mm: 我的目的就是text mining、nlp
→ f496328mm: 目前在當兵，PTT也快抓完了，會再去抓其他data
※ 編輯: f496328mm (42.78.158.110), 11/10/2017 07:13:55
推 chan15: 你中文都沒遇到問題嗎，我常遇到 cp950，即便對方編碼是 u
→ chan15: tf8
→ f496328mm: chan，我目前都沒遇到過，爬新聞、雜誌等等都沒遇到