[問題] 想請問有關爬蟲問題

[rennmin84 (rennmin84)]

大家好好好！

最近想要寫爬蟲程式來蒐集一些股票資訊（例如某個股的每季本益比或ROE），雖然
財報狗已經把數據整理的很漂亮，可是想說當作練習就來抓取上面的資料。不過現在
遇到的一個問題是找不到完整的tag資訊，我的程式碼和網站原始碼如下：

import requests
from bs4 import BeautifulSoup

URL = 'https://statementdog.com/analysis/tpe/2912/financial-structure-ratio'
resp = requests.get(URL).text
soup = BeautifulSoup(resp, 'html5lib')
data = soup.find('ul', {'id': 'datasheet'})


https://i.imgur.com/evMuXjH.jpg

在標籤屬性為{'id': 'datasheet'}的ul標籤當中還有很多資料，可是用我上面的程式碼
都找不到裡面的資料，然後data這個變數值只有<ul id="datasheet"></ul>。


想請問大家我的程式碼是哪邊出問題了，感謝感謝～




--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 115.43.135.35
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1545551729.A.103.html
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:01:13
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:01:52
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:10:23
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:15:37
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:15:53
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:19:11
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:19:31
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:23:21
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:23:51
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:26:51
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:28:13
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:28:30
※ 編輯: rennmin84 (115.43.135.35), 12/23/2018 16:29:02
→ dododavid006: 我看到的也是空的 該不會是要登入吧
對耶沒有考慮過登入的問題，感謝回覆！我來試試看！
→ InfinityGate: 1. 登入 2. 這資料是動態載入的
不好意思我有點菜..請問動態的資料用BeautifulSoup就看不到嗎？那不是要用Selenium?
→ TakiDog: 找封包下手吧
請問封包是什麼意思哈哈？感謝您的回覆啦！
→ toy9986619: 看看資料是不是透過JS加載進來的
請問要怎麼檢查是不是JS加載進來的？謝謝～
※ 編輯: rennmin84 (115.43.135.35), 12/24/2018 20:14:14
※ 編輯: rennmin84 (115.43.135.35), 12/24/2018 20:16:46
推 ms0202687: 建議原po去YT查一下 我記得有人談到財報狗的爬蟲問題
→ ms0202687: 。另外你應該是純商管類的吧，以上各樓回答的關鍵字建
→ ms0202687: 議先自己做個功課
感謝大家的回覆！我剛剛用Selenium登入之後，就爬得到資料了。
※ 編輯: rennmin84 (115.43.135.35), 12/25/2018 08:58:50