[問題] 抓取Facebook滾輪下拉後資料

[bubble0312 (Stephen)]

大家好! python新手發問

我想寫一個抓取facebook的html碼的program

目標是抓取一個粉絲專頁一週內的po文

但我送出request後，得到的html只有前8則po文

必須要把滾輪下拉，比較舊的po文才會顯示在網頁上

想請問有什麼辦法可以解決只抓到前8則po文這個問題? (不打算使用FB graph api)

謝謝大家!!!!

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.214.166.48
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1465362269.A.8EB.html
推 CaptainH: 自己去研究fb的ajax request，然後想辦法模擬
→ CaptainH: 這可能比Graph api還麻煩
推 IAMPF: 你可以試試用selenium
推 syclin: 為何不試試 FB 提供的 api
推 kenduest: fb新增個app, 後續用 token 登入然後用標準api溝通去抓
→ kenduest: 資料
→ kenduest: 這個方式才會簡單，過來人的經驗，要不然搞死最近
→ poup: 用selenium可以解決。
推 areyo: 推selenium
→ blc: selenium,或是抓mobile頁
→ bubble0312: 感謝回答！目前先用API解決問題，再慢慢研究selenium
推 areyo: selenium, 找大數學堂吧，有基本教學
推 trylovetom: 我是土炮用js 狂scroll，然後再抓Dom，Python 大概也
→ trylovetom: 是這樣，不過放一個晚上記憶體就爆了