[問題] 關於requests.get中的header

[hsiaoeddie (eddie)]

大家好，小妹我最近在學習爬蟲的時候常常遇到requests.get()找不到全部的<tag>的情況。

Google了一下後發現是某些內容是需要在get中加入header才會跑出來。但問題就來了，我要怎麼知道我要爬的區域的header是哪一部分？

有什麼方法是可以由網頁內容直接判定所屬的header的嗎？

求大家幫幫忙～ 感激不盡
-----
Sent from JPTT on my iPhone

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.205.14.121
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1545836726.A.246.html
推 f496328mm: 一律全加header，這才是好習慣
重點是我不知道我要抓的內容是屬於哪個header
※ 編輯: hsiaoeddie (123.205.14.121), 12/26/2018 23:30:25
→ s860134: 否　沒有這種方法　完全看　server 撰寫者高興
→ s860134: 伺服器我架的，想檢查甚麼就檢查甚麼，乖乖送就是唯一解
推 nini200: 瀏覽器看的到 python抓不到 大概就要加header了 參考一下
推 nini200: 然後全加 就妥妥的了
→ TakiDog: 瀏覽器送什麼就仿什麼，全仿下來快樂沒煩惱
推 hoho8: 伺服器：我全都要