Re: [問題] 使用requests post爬蟲問題

[benson415 (沛行)]

問題應該是來自你如何取得
"__VIEWSTATE", "__VIEWSTATEGENERATOR", "__EVENTVALIDATION"
這三個變數的方法了

「每次」在parse你真正要的資料之前
請帶著你的header就好，先將這三個變數parse出來存入Dict或List
舉例：
valid = {
         "viewstate": __VIEWSTATE
         "viewstategenerator": __VIEWSTATEGENERATOR,
         "eventvalidation": __EVENTVALIDATION
}


然後再將這三個值丟進你的formdata_market
: formdata_market = {"__VIEWSTATE":valid['viewstate'],
:                    "__VIEWSTATEGENERATOR": valid['viewstategenerator'],
:                    "__EVENTVALIDATION": valid['eventvalidation'],
:                    "ctl00$ContentPlaceHolder1$D1":market[0],
:                    "ctl00$ContentPlaceHolder1$D3":"2016-08-29"}

這樣應該就沒問題了，這是處理aspx常見問題

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.35.183.56
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1472707236.A.EFC.html
※ 編輯: benson415 (114.35.183.56), 09/01/2016 13:34:12
推 liwenhuang: 感謝benson大, 問題解決了!
→ liwenhuang: 原來每次要資料前都要先拿到OTC的viewstate後才能選
→ liwenhuang: 日期!
→ benson415: 但其實「每次」的意思是當你開啟這個py檔要去要資料之
→ benson415: 前，不用到每個日期都要先要一次viewstate，一次就好！
→ liwenhuang: 我原本也是在第一次執行py的時候要了一次viewstate,
→ liwenhuang:  但似乎沒辦法解決, 所以我才每一次都去要@@