[問題] 某段程式讀取太久自動跳過

[loser113 (洨大魯蛇ㄍ)]

在爬蟲抓網頁 執行某段 抓某頁的時候可能讀取很久

有沒有指令可以設定某一段指令若跑超過x秒 自動跳過

謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.113.40 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1583387750.A.0B1.html
→ Hsins: import time
→ Hsins: limit_time = time.time() + TIMEOUT
→ Hsins: if time.time() > limit_time:
→ Hsins: 這作法比較簡單，也可以用 theading 的 Timer
→ Hsins: 不過等你爬蟲複雜起來再考慮吧
推 ddavid: 卡某種I/O包括網路的話，感覺都是thread出去比較好，上面
→ ddavid: 推文第一種方法用在很多小行為其實都跑很快但累積時間很久
→ ddavid: 的情況，但如果單單某個讀取動作就卡很久就不是第一種方法
→ ddavid: 能處理的了，這時就給他一個thread讓他自己去跑吧
→ ddavid: 不過代價就是複雜性變高了，有必要才用
→ alvinlin: scrapy用DOWNLOAD_TIMEOUT 設定
→ alvinlin: 然後用scrapy的errback去exception
→ IAMPF: 如果是用 requests 可以 requests.get(url,timeout=30)