看板 Python 關於我們 聯絡資訊
最近在練習用python寫爬蟲 但是在大量爬取時出現ProxyError 主要就是因為超過Max retries exceeded 該網頁 所以我想在爬取時定時更換ip 但公司電腦又不能使用safeIP 不知道有沒有其他方法能在爬取資料時renew IP 懇請各位大大指教 或是給我關鍵字讓我自己估狗學習 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.30.67.160 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1481189629.A.C7F.html
uranusjr: 用公司電腦就低調點慢慢爬, 不然被抓還可以告你偷電 12/08 17:56
shadowjohn: 先收集proxy、socket5、可以穿x-forward-proxy 12/08 18:08
shadowjohn: 不然你換再多ip應該也... 12/08 18:09
ajaxbaby: 也很想知道+1 ... 12/09 09:28
ajaxbaby: 想知道有無方法能更換proxy, 免費付費都好 12/09 09:29
ajaxbaby: 頻率數分鐘一次也可以 目前知道透過browser可以 12/09 09:29
aweimeow: 改 X-forward-for Header 不知道有沒有用 XD 12/09 14:54
Nt1: 架tor, 不過效能會下降 12/15 02:09