[問題] 爬蟲 XHR也找不到目標資料

[rodyforeter (rodyforeter)]

各位大大安安


我目前在寫一個電商爬蟲

自己做了一些功課

對於動態載入的網頁通常會用調出XHR的request或是使用web driver

現在碰到的一個疑問是

某電商網頁裡面的資料

doc裡面沒有 打開xhr一一掃過也沒有找到對應的資料

所以可能會用網頁驅動去爬取

但很好奇這類型的網頁是如何得到資料的呢?

裡面有一個 jquery xhr

是否是這個東西在搞鬼??

新手發問

感謝解答 ~





--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.28.227.56
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1545998272.A.599.html
→ nini200: 直接給網站唄 可疑的網頁都去點來看 網頁看的到基本都有
推 extraymond: 也有可能是websocket嗎？
→ rodyforeter: https://24h.pchome.com.tw/region/DDAT
→ rodyforeter: 我想要的資料是左邊的各項目錄網址
→ rodyforeter: <dl id='MenuContainer' ...下的所有 <li>
推 nini200: 我google pchome 爬蟲 有影片教學 你參考一下唄
→ rodyforeter: 謝謝 但是左側的那些目錄 不在xhr裡面@@
→ rodyforeter: 我再研究看看
→ rodyforeter: 靈機一動在旁邊的JS裡面找到了!哈哈
→ rodyforeter: 因為教學都說看XHR 結果一直找不到  謝謝大家
推 jasonfghx: 哪一個網站?
→ rodyforeter: 是pchome 現在已經可以了 問題是另一個更難的 momo