[討論] 股票爬蟲

[why702 (Glory Glory ManU )]

小弟初學python，
有寫一個某個股票網站的爬蟲，
希望跟各位前輩交流一下，
但是礙於這個網站會擋爬蟲，
所以我不敢把程式公開，
如果有人也有寫類似的爬蟲願意交流的嗎？

目前我的程式因為股票資訊太多，
如果要全部都爬會花超過13hr，
所以我閹割了一大部分，
保留我覺得比較重要的，
但是還是會花約3hr多

想看前輩是不是有比較好的方法願意交流

感謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.45.120.135
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1512484378.A.BF5.html
→ cocoaswifty: 股票程式交易不都有API可以用，為什麼要爬
推 TitanEric: 3小時好久… 覺得沒效率
→ TitanEric: 應該有像樓上講的API可以用沒有錯
→ why702: 有現成的，有辦法把所需的數據給我自由運算的嗎？
推 neil987: stocktw
推 coeric: 是樓上說的這網站嗎？改天來挑戰看看～～
推 wennie0433: github twstock
→ why702: 喔！ 這個我看過，寫得很好，但是少了一些資訊，所以我只
→ why702: 好自己爬
推 rexyeah: 很好奇為何爬3hr..我爬了8個頁面還加上運算後在google
→ rexyeah: sheet上紀錄，還做了樞紐與畫圖也不用3分鐘啊
→ rexyeah: btw, 我只紀錄了14個指標啦
→ why702: 因為那個網站把歷史數據全部放上去，讀取解析那海量數據
→ why702: 花很多時間
→ why702: 有興趣我可以把git給您參考，看有沒什麼建議？
推 koshi0413: 可以學我把歷史資料爬完後，下來用SQL分析，快不少
→ why702: 我就是這樣做沒錯，但還是每天要更新