作者liwenhuang (雜)
看板Python
標題[問題] 使用requests post爬蟲問題
時間Thu Sep 1 00:23:28 2016
大家好
最近在爬鉅亨網買賣超排名的資料時遇到一點問題
(網址:
http://www.cnyes.com/twstock/a_QFII9.aspx)
我的目的是要抓集中市場以及店頭市場某一天的資料
使用以下的方法來request資料
market = ["TSE", "OTC"]
session_html = requests.session()
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"}
formdata_market = {"__VIEWSTATE":viewstate,
"__VIEWSTATEGENERATOR":viewstategenerator,
"__EVENTVALIDATION":eventvalidation,
"ctl00$ContentPlaceHolder1$D1":market[0],
"ctl00$ContentPlaceHolder1$D3":"2016-08-29"}
html_market = session_html.post(url, headers = header, data = formdata_market)
對於集中市場的資料在抓取上沒有問題
但是當要抓取店頭市場某一天的資料時, 卻只能抓到當天的資料(選單上的第一個日期)
請問這個問題有什麼方法可以解決呢
謝謝各位
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.193.120.45
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1472660610.A.8C0.html
推 hoho8: 更改參數日期再重新request? 09/01 06:16
→ liwenhuang: 似乎是只要改了市場參數到OTC後,日期不管改哪一天都 09/01 09:49
→ liwenhuang: 會回傳選單上第一天的資料.. 09/01 09:49