作者freddy (lkking)
看板Python
標題[問題] 如何爬一個每次打開來都不太一樣的網頁
時間Mon Mar 1 01:43:33 2021
入題,我最近在爬的一個網站會有一些不定因素導致每次爬都有些微不同
假如說這個網站會寫出已打卡的人的名字、資料(還沒打卡的不會顯示),但我去爬的時
候一定有人請假或還沒打卡,那如果用for 去找從項目第1個到第總人數個,一定會發生
錯誤,所以想請教該怎麼處理
歐對了,這份檔我用selenium 寫很久了,可能沒辦法打掉重練,如果用requests +bs4
稍微分析一下是否可行,還是有其他更好的方法,謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.76.78.27 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1614534215.A.19F.html
→ ck574b027: 你要解釋為何不能用程式分辨那個不同,錯誤是什麼 03/01 03:04
→ Daredevil316: 假設你網頁內每一階層都相同就do while去爬啊 03/01 10:13
→ Daredevil316: 爬到名稱比對為null就表示至今打卡人數 03/01 10:14
→ ddavid: 你為什麼是for去跑「個數」而不是取得一個目前實際的列表 03/02 01:32
→ ddavid: 然後for x in student_list之類的 03/02 01:33
→ ddavid: 你如果會用bs4,分析一下很簡單吧 03/02 01:33