[問題] 期交所選擇權每日行情爬蟲

[interwise613 (BG蔚)]

各位大大午安

不曉得有沒有人有在期交所爬選擇權每日行情資料
從今天開始發現沒有辦法爬到歷史資料
不管怎麼改Form Data裡面的參數都只能爬到今天的

想請問有沒有人遇到相同的問題

謝謝！

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.251.48.211 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Trading/M.1561968461.A.2E8.html
推 bab7171: 證交所也是從前幾天開始。期交 證交常常一直改網頁
推 poker0531: 你要爬明細還是？
我想爬的是在https://www.taifex.com.tw/cht/3/optDailyMarketReport 的歷史資
料，用的語言是python
※ 編輯: interwise613 (114.32.162.16 臺灣), 07/02/2019 00:13:07
→ totte: 用chrome按F12可以看到formdata
→ totte: network
我有去看但我程式碼打我指定的日期他卻爬到最新的日期，怎麼改日期都一樣
※ 編輯: interwise613 (60.251.48.211 臺灣), 07/02/2019 09:41:42
→ totte: https://i.imgur.com/2vl7Huy.png
→ totte: 先試試吧 不行的話看要不要貼一下你程式 或晚上我回家後再
→ totte: 試
→ totte: https://github.com/hccga7/ptt/blob/master/TAIFEX_optDai
→ totte: lyMarketReport.py
→ totte: https://reurl.cc/d3EeD
感謝totte大大，問題解決了，原因出在我是用http不是https,以前用http是沒問題的，
可能最近網站有改版
※ 編輯: interwise613 (60.251.48.211 臺灣), 07/02/2019 14:04:14
→ totte: 是 我上禮拜五也抓很久的錯 證交所也是改https
推 cobrasgo: 一直改版很討厭
→ azuel: 最好還是自己每天把資料抓回來存db不要每次去網站上query
是 但有時沒辦法每天做 所以還是有抓歷史資料的需求
※ 編輯: interwise613 (39.8.39.89 臺灣), 07/05/2019 11:18:56
→ azuel: 先寫好updater之後，用一個bat檔丟在windows排程工作
→ azuel: 把on error給寫好來，每天就會自己去更新了