作者MTlessugar (金魚花火)
看板Python
標題[問題] IG爬蟲會卡在LoginAndSignupPage
時間Mon Aug 10 17:41:07 2020
大家好,我最近在練習使用Python進行IG照片爬蟲。
我的做法是
1.先連上IG的帳號
2.分析每個貼文所在的URL
3.讀取貼文URL再進去找照片的URL
4.擷取照片的URL再下載
現在遇到的問題是,我在A電腦進行爬蟲是沒問題的,但在B電腦執行爬蟲時會卡在IG的Lo
ginAndSignUpPage然後無法爬蟲。
我嘗試改了B電腦的cookie就可以連上IG的帳戶了,但要連上貼文URL時又會卡在LoginAnd
SignUpPage上。
我觀察了一下發現A電腦即使開啟無痕視窗依然會保有IG的登入資訊,而B電腦開啟無痕視
窗後就失去了IG的登入資訊。
想請問該如何讓B電腦也能順利的完成爬蟲呢?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.217.242 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1597052469.A.43C.html
推 deep128: cookie有保存在爬蟲的設定中嗎?還是只是一次性的,並沒 08/12 14:36
→ deep128: 有帶到下一個頁面? 08/12 14:36
推 yoz4ni: 我之前寫沒遇過這種問題,我是用名字去抓全部的圖片 08/19 18:36