[閒聊] 請問有人用過免費Proxy寫爬蟲嗎?

[philipwen (匈牙利=Hungary)]

http://tinyw.in/lOA8

附上網址

最近再用BeautifulSoup寫爬蟲，但老問題就是遇到防火牆規則

相同IP重複挖取被擋下來了 就想說用跳板來抓

看到這一篇是抓可以用的免費Proxy來抓

Code分成兩大部分 第一部分就是一個小爬蟲去爬免費Proxy

不知道有沒有人玩過這個呢? 分享給大家

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.230.119.225 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1563517298.A.DAA.html
※ 編輯: philipwen (125.230.119.225 臺灣), 07/19/2019 14:27:31
→ philipwen: 問一下 有沒有人死在proxies=Next(proxy_pool)呢
→ shadowjohn: 先把proxy4free列表裡的刷一次看哪些能用~
→ s860134: 就一個 for 迴圈和一個 get 去檢查能不能用...
→ ptl1129: proxybroker