[問題] bilibili 使用者資訊爬蟲

[rocker915 (Kiisar)]

目前是想爬取使用者的資訊

像是關注跟粉絲的人數

然後再爬取那些關注跟粉絲的資訊

https://space.bilibili.com/201293/#!/fans/follow

像是我要爬取這個網頁的話

怎麼樣爬都爬不出關注者列表

原本是用urllib2加header來爬

但後來發現網頁好像是用JS來跑的

改成以下的code

http://codepad.org/oRVQkGF9

但還是一樣的結果

我想爬的內容在 <div id="space-body"></div>裡面 但爬出來都是空的

可以的話還請各位大神們能給點意見

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.251.217.33
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1504163780.A.483.html
→ uranusjr: Selenium 遇到元素是空的第一件事情先加個 delay 壓壓驚
→ itisjoe: bilibili 我之前有抓過播放列表的資訊 ajax 沒有防外連
→ itisjoe: 可以用 chrome 的 Developer Tools 開其中的 Network 看
→ itisjoe: https://space.bilibili.com/ajax/* 開頭的都有可能
→ itisjoe: 資訊大多都是 json 格式 很好處理
→ rocker915: 謝謝大大們 目前有看到東西了!