推 superGA:query太頻繁 如果你繼續抓 你ip區段的電腦都會一起被鎖 10/19 16:04
→ sbrhsieh:還可以使用瀏覽器瀏覽頁面表示 IP 還沒有被檔 10/19 22:14
→ sbrhsieh:一旦 yahoo 回應 999,你使用任何程式都沒有辦法下載頁面 10/19 22:15
推 huggie:sleep 幾秒再抓下一個 10/21 12:55
→ gmp3fs:Y!的999不知道有沒有鎖學網的Proxy喔? 10/21 17:12
python裡比較常用的抓網頁程式應該就是urllib和urllib2了
用了這兩個module抓網頁一段時間後,我發現一個很奇怪的問題
那就是抓google或yahoo的資料被檔後,總是會被鎖上幾個小時~1天的時間
在這段時間裡,程式都不能抓到網頁,
但是直接在網頁輸入query和點擊網頁卻又可以進得去
請問有人知道這是什麼原因嗎?
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.116.245.199