[問題] 爬蟲 csrf 怎麼獲得？

[a199111222 (oyeh)]

網頁為以下

https://www.barchart.com/stocks/quotes/AMD/put-call-ratios

Cookies內的xsrf-token每天都會變
不知道有沒有辦法用python抓出來

試了以下方法都失敗
1. 從網頁內直接找是不是有藏token的數值，但沒有
2. 直接不帶cookies直接抓網頁，並拿回傳的cookies，還是失敗

暫時不考慮用python的網頁去抓（太多資料應該會抓不完）

不知道有沒有人處理過類似的問題
謝謝



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.234.120.165 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1626780117.A.B5C.html
推 ckc1ark: 在put-call-ratios response的set-cookie找看看
→ a199111222: 請問c大有沒有清楚一點的說明，菜雞不是很懂...
推 ckc1ark: https://reqbin.com/c-uzaayddu 看headers的部分
→ ckc1ark: 是藏在response header不是在body
→ a199111222:  https://i.imgur.com/FVlUNns.jpg
→ a199111222: 如果用get 去這網頁確實會得到後來request的csrf，不
→ a199111222: 過我把這網頁的curl轉換成python語法後，回應的header
→ a199111222: s和圖片上的不一樣...，如果很複雜可以站內我，酬勞可
→ a199111222: 成功了，原來curl等於不同使用者，所以回應的header也
→ a199111222: 會不一樣，把回應的再拿去post拿到的資料是正確的，
→ a199111222: 謝謝c大
推 aidansky0989: Form表單元素看一下通常會有