[問題] 爬蟲問題

[Mutibil (nujabes)]

用beautifulsoup想爬steam 上對遊戲的關鍵字評論

網址如下

http://steamcommunity.com/games/dota2/announcements/detail/1449457773770927103


comment 一頁十筆，在爬的時候只能抓取得到第一頁的內容

第二頁的評論以後不知從何爬起，不是很了解資料放在哪


另外

這部分有推薦用書可以查嗎

感覺不知道網頁怎麼寫，要爬資料問題一堆

又毫無頭緒....


謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 173.56.84.230
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1511765781.A.28B.html
推 ckc1ark: 從developer panel可以看ajax url怎麼下
→ ckc1ark: 他是包在json的comment_html欄位
→ Mutibil: 又麻煩你了orz  一堆報告要爬蟲分析...
推 ckc1ark: 看起來沒有特別檢查 https://tinyurl.com/y8kbxrar
→ ckc1ark: 改start就可以撈別頁了
推 vi000246: 用F12看Netwrok頁籤 看翻頁時會執行的request
推 s960405s: 用selenium吧
→ Mutibil: 因為覺得有些筆數很大  selenium會慢了些