[問題]如何爬取即使產生的資料

[eecheng87 (EEcheng)]

各位大大好，目前我在練習拿中央氣象局的各地溫度，但是用requests.get拿到的程式碼
都不含溫度的資料，他們好像會即時產生，程式碼只有表格的雛型，想請問有神麼辦法能
用爬蟲的方式拿到嗎?謝謝。

以下附上網址，表格在123行開始。
https://www.cwb.gov.tw/V8/C/W/OBS_County.html?ID=64

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.103.162 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1574255518.A.BA7.html
※ 編輯: eecheng87 (140.116.103.162 臺灣), 11/20/2019 21:13:33
※ 編輯: eecheng87 (140.116.103.162 臺灣), 11/20/2019 21:18:30
※ 編輯: eecheng87 (140.116.103.162 臺灣), 11/20/2019 21:19:01
→ dennisxkimo: 資料是叫用api回傳內容 所以你爬這頁看到表格 沒資料
→ dennisxkimo: 網頁原始碼看的出來 高雄市
→ dennisxkimo: www.cwb.gov.tw/Data/js/Observe/County/64.js
→ dennisxkimo: 如果非靜態網頁 叫api回資料 反而要看懂他怎麼叫
→ eecheng87: 所以這個應該是動態網頁?所以應該沒辦法走找尋selector
→ eecheng87: 取值這條路了吧?那請問有神麼套件或api可以解決這個問
→ eecheng87: 題嗎?
→ dennisxkimo: 這種就不用爬 直接就給資料了 只要parse就好了
→ hoho8: 氣象局有資料開放平台，直接用json取值比較快啦
→ eecheng87: 感謝各位的意見，我再試試
→ dennisxkimo: 不一定要找出api來源 有api的call api比較有效率而已
→ dennisxkimo: 關鍵字 python webdriver ajax google一下吧
→ dennisxkimo: 模擬瀏覽 爬資料 與 直接拿到資料的分別而已
→ a9301040: 你找錯地方了，找中央氣象局 opendata，有api可以串，
→ a9301040: 很容易
→ dennisxkimo: 原po表示練習 猜他不是真的要資料而是這類網頁如何
→ dennisxkimo: 取
→ blc: 開 selenium 吧。
→ blc: 要資料的話請找opendata，要從網頁抓資料的話請用 selenium
推 ilove0618: 他是動態產生的，之前爬過一次樓上說的ajax那些搞懂就
→ ilove0618: 很好爬了