→ mmis1000: 那就讓你的crawler也過proxy 03/02 12:39
各位好
最近在學NodeJS
打算寫一隻Crawler
參照此文章
如何撰寫Crawler
http://yhsiang.logdown.com/posts/2014/05/10/how-to-write-a-crawler
也完成了一隻Crawler
在家中一般網路環境時順利抓下資料
但是 拿到公司網路環境運作
竟然無法爬資料
深入追查下才發現
公司連網站都會透過Proxy
導致爬網頁時都會失敗
上網找了許多相關問題
也是無法順利解決
上來求教各位
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.139.229.14
※ 文章網址: https://www.ptt.cc/bbs/Ajax/M.1488383903.A.487.html