推 vi000246: F12有個xhr中斷點功能 在那個xhr設中斷點 看stack 01/06 13:02
→ vi000246: 找出是哪裡呼叫那個xhr的 01/06 13:02
→ vi000246: 其實我看不懂你想問啥 01/06 13:02
→ jackjenny: 我是想要用python 去抓取network 資料 01/06 13:45
→ TakiDog: mitm能濾 能看 能改 又好寫 01/07 09:29
如題:
想透過PYTHON 爬蟲抓包某A網站的數據XHR
換句話說 就是想透過PYTHON攔截下載到瀏覽器前的某的XHR檔案
1.上網查答案
似乎要安裝mitmproxy來當使用者與主機中的中間器去攔截
我並沒有要串改或是過濾訊息,可否有其他方式
例如pythom寫出chrome plus 攔截某的檔案xhr
因為想要去抓取資料在那個某檔名xhr裡面
2.不考慮對該主機URL去post/get 得到資料(xhr)
URL有好多前端加密亂數 放棄
3.該網站的network每次會產生許多xhr(加密隨機亂數)檔案
其中我想要的xhr檔案的檔案有個關鍵字可以辨識出來
所以才想這樣土法煉鋼找到指定XHR
先謝謝各位大大XD
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.131.164 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1609867951.A.102.html