看板 Python 關於我們 聯絡資訊
之前都是用scrapy搭配selenium爬蟲,不過遇到動態網頁就會慢很多 最近爬文得知可以用AJAX方式去把所需要資料讀出來,不過無法跟網路教學一樣讀出json格式 以下是我要資料流程 EX: import requests import json url = 'https://fb.oddsportal.com/feed/match/1-6-E5R55yD8-3-1-yj4d1.dat' response = requests.get(url) response.text 問題就如下打response.text時會出現以下,而不是像chrome工具顯示後面還有一大串json "globals.jsonpCallback('/feed/match/1-6-E5R55yD8-3-1-yj4d1.dat', {'e':'404'});" 請問這是為什麼呢? 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.13.83.176 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1559314658.A.6F5.html
q79236: 試試看把header設定的跟google chrome一樣看看 06/01 01:19
a11780922: header 要給參數 06/01 20:03
utdsml: scrapy可以用splash處理AJAX 06/11 11:58