看板 Python 關於我們 聯絡資訊
最近寫了個小程式,想用來一次查詢一串資料,不然人工查詢很痛苦 當資料只有 10 筆的時候,可以正常輸出 10 筆查詢結果 但當資料有 10 萬筆的時候,輸出到 500 筆左右程式就會停住 請問這是單純查太大被防火牆擋了,還是 requests 函式庫的問題? (備註:程式停住時也沒有收到 404 的訊息,感覺像是一直在等對方伺服器回應 嘗試加了 sleep(1) 狀況也沒有改善) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.46.143.100 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1493121925.A.59D.html
jn8029: 不夠資訊 04/25 20:30
jn8029: 無從判斷(?) 04/25 20:31
zerof: 用 stream=True, 其他請樓下幫........ 04/25 20:45
os653: 抱歉資訊不全,因為程式就真的在發呆,啥回應都沒有 04/25 21:15
os653: 明天試試加stream=True看看,雖然看文件的說明感覺不太像 04/25 21:16
jn8029: 給個url跟gist看看吧? 04/26 10:39
coeric: sleep看看? 04/26 11:53
coeric: 忽略上一行 原來已經sleep過了 04/26 11:54
karta0910489: 資訊太少 真的很難幫 04/26 13:30
allan80625: 這個我之前也有遇過,完全沒有錯誤訊息 04/27 21:17
allan80625: 也不知道為什麼就是停住了,嘗試換ip、換header都無 04/27 21:18
allan80625: 解 04/27 21:18
allan80625: 後來我把爬蟲程式寫成function,固定10分鐘重跑才解決 04/27 21:19
koshi0413: 鎖ip吧。我被鎖過3天的,對方算泥ip當日登入次數就好了 04/28 00:01
os653: 看來只能仿照allan大的解法用重跑大法了 04/28 06:58