[問題] 如何被網頁阻擋後，過幾秒重連線?

[kiloxx (名器)]

大家好!! 新手卡關再一問!

我想用urllib去urlopen一個網站

可是我有大量的資料要連續讀取

for example:

for each_stock in stocks:

  req=urllib.urlopen("http://www.example/each_stock")

  table = req.find('table',{'class':'board')


可是因為我太頻繁讀取網站，網站會跳出一個網頁寫說

"太頻繁讀取，請稍後再來"(網址是一樣的)

這樣我就找不到我要的table

所以我想要請問

有沒有甚麼方法可以讓我可以過幾秒之後再回去讀取網頁?

我用過time.sleep(10)方式，等10s去讀沒有用QQ

在urlopen後面加上timeout=20也沒有用...因為不是被block的關係吧?

是被轉到內容(網址沒有變),所以加上timeout沒有用....

卡了幾天了，懇請幫忙m(_ _)m


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.77.57
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1460127620.A.08D.html
推 CaptainH: 等10秒不夠就等20秒啊
→ uranusjr: timeout 是指連不上的話在多久之後「放棄」, 不是你要的
→ uranusjr: 用 sleep 是最簡單的解, 至於要等多久就要看網站而定
→ s860134: 一樓最佳解ＸＤ　另外你可以多準備幾個 proxy 來讀
→ s860134: urllib.request.ProxyHandler　
!!!!!!!!哈哈哈哈哈哈，一樓一語點醒我夢中人阿

剛剛發現更好的方法

用except:
time.sleep(10)
這樣沒有成功就可以一直等了!!!

謝謝大家!!!!




※ 編輯: kiloxx (114.36.77.57), 04/09/2016 00:01:55
推 busystudent: 其實你這樣time.sleep(10)改成20秒不夠好，你該試著
→ busystudent: 讓程式碼依序停1秒或5秒
→ busystudent: time.sleep(randint(1,5))
→ busystudent: 記得還要這一行from random import randint
→ kenduest: 另外若你是對同一個網站下達抓取資料，建議多利用
→ kenduest: HTTP/1.1 的 keep-alive 方式連續抓取
→ kenduest: 也就是一個 connection 下可以有多個 http request
→ kenduest: 上面寫法會變成切斷連線之後重新產生一個新的連線
→ kenduest: 建議可以裝 requests 替代要使用 keep alive 比較快
推 eight0: 也可以參考 header "Retry-After"