作者stanleychao ()
看板Python
標題[問題] AJAX網路爬蟲
時間Fri May 31 22:57:30 2019
之前都是用scrapy搭配selenium爬蟲,不過遇到動態網頁就會慢很多
最近爬文得知可以用AJAX方式去把所需要資料讀出來,不過無法跟網路教學一樣讀出json格式
以下是我要資料流程
EX:
import requests
import json
url = '
https://fb.oddsportal.com/feed/match/1-6-E5R55yD8-3-1-yj4d1.dat'
response = requests.get(url)
response.text
問題就如下打response.text時會出現以下,而不是像chrome工具顯示後面還有一大串json
"globals.jsonpCallback('/feed/match/1-6-E5R55yD8-3-1-yj4d1.dat', {'e':'404'});"
請問這是為什麼呢?
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.13.83.176
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1559314658.A.6F5.html
推 q79236: 試試看把header設定的跟google chrome一樣看看 06/01 01:19
推 a11780922: header 要給參數 06/01 20:03
推 utdsml: scrapy可以用splash處理AJAX 06/11 11:58