[請益] 請問爬蟲+資料統計怎麼發展比較好?

[goooeooo (ge)]

我一直有一個夢

就是希望能把我收集的各個網站上的公開資料

擷取下來 (是公開資料)

譬如有50個網站的公開資料 我希望寫個程式 自動抓取這50個網站的特定公開資料

然後我想在寫一個程式 將這些擷取下來的資料進行我想要的統計計算

請問各位大哥大姐 如果想達到這樣子的能力 我應該要怎麼發展比較好呢?

我目前就只會工廠的ERP系統 如果想有以上敘述的能力 請問該如何發展呢?

感謝感謝!


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.133.173.252
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1517768288.A.9AC.html
※ 編輯: goooeooo (220.133.173.252), 02/05/2018 02:19:27
→ softseaweed: 這入門python就幹的到了吧
推 drajan: 開始進行 做中學 最慢半年就可以了
→ MOONY135: 我大概一周就可以爬PTT了...覺得兩個月就可以寫完五十
→ MOONY135: 個網站
推 s8888: html, css基礎知識 + 任一語言 +爬文套件(soup系列) ，有
→ s8888: 些防護較好的網站可能會需要動態ip
推 kenshin528: 越多網站練的不是爬蟲，是自動化跟錯誤偵測機制
→ kenshin528: 而且 ptt 超好爬的，很多網站結構更亂...
推 cphe: 推樓上，而且ptt其實算最簡單的了
→ menshuei: 我覺得爬到最後練的是耐心跟規則的撰寫而已。
推 rayway30419: 這次鐵人賽Howard的爬蟲系列可以參考一下
→ rayway30419: https://goo.gl/AG6e5T
推 TAKADO: 爬資料容易說故事難，要變成產品賣出去更難。只能多實作練
→ TAKADO: 習&充實domain knowledge，然後認真修統計分析才能把故事
→ TAKADO: 說得飛天鑽地。
推 femlro: 溫馨的推文
推 luli0034: 跟我大學專題87%像
推 olen0622: 這資策會出來的就會了沒很難 python套件一堆
→ rodion: 一堆說沒很難的 Google的search engine就是靠強大的爬蟲
→ rodion: 為根基的 我以為爬蟲是易學難精 說沒很難只是沒碰到過難爬
→ rodion: 的網站
推 THEWORLDS: 爬特定網站本來就不難
先感謝大家的推文

請問 市場爬蟲的工作需求多嗎 以及會用我這不到一年資歷無爬蟲經驗的新人嗎?

我當初無經驗時 有找過 但沒有公司願意面試 但我只找了半個月 就去erp的公司上班了
※ 編輯: goooeooo (220.133.173.252), 02/07/2018 02:08:47
推 ovoqq: 之前有做過 圖書館爬蟲書有教
→ ACMANIAC: 如果你要實作一個 Goolge search engine 的確滿難的
推 rpdef9969: 把你的目標具體後，簡化一點，分階段完成。 你可以現
→ rpdef9969: 在安裝好python，爬個一週天氣下來；分階段達成你想要
→ rpdef9969: 的目標。
→ rpdef9969: 都會ptt了，你可以在網路上找個python爬蟲課。