作者gene50814 (genechen)
看板Python
標題[問題] 爬蟲部署到Heroku後請求失敗
時間Thu Aug 18 23:10:23 2022
各位大大好
小弟有一個爬印度證交所(
https://www.nseindia.com/) 網站的需求。
在local端寫好執行都沒問題,但部署到heroku之後連單純的requests get都沒辦法。
請求送出之後不是會return失敗的status code,而是會執行非常久都不會結束
之前在local端測試的時候是如果沒有加user-agent會發生這種問題,但部署到heroku上
的程式是有加的
想請教如果要能在heroku上正常運行可以怎麼調整? 不知道會不會是跟國家有關? hero
ku上的國家似乎只有US跟EU。會是需要調整user-agent嗎?
請大大們指點迷津了 感謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.240.132.38 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1660835426.A.C44.html
※ 編輯: gene50814 (111.240.132.38 臺灣), 08/18/2022 23:11:22
→ gene50814: 看起來就是網站把雲端server都擋掉了 似乎無解 08/19 10:16
→ shihs: 很多網站都會擋 heroku 發出的 request 08/24 20:16