[問題] 如何parse有infinite scroll的頁面?

[alich (阿力取)]

最近用node在parse一些網頁，

可是不知道該如何處理有infinite scroll的頁面阿QQ

現在應該有兩個問題:

(1) 要trigger scroll，讓更多的資料顯示出來；那就是要send一個ajax request

    給要parse的那個頁面吧，可是... 該怎麼做?

(2) infinite scroll後來被trigger出來的資料可以在f12的DOM tree裡面找到，

    可是parser抓到的html是來自 右鍵 -> 檢視原始碼阿，

    這樣就算我可以trigger scroll還是沒辦法抓到更多資料ˊˋ

    有沒有方法可以抓到f12裡面的DOM tree ?

想請問各位大師有甚麼建議~~ 謝謝~~~

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.195.193.115
※ 文章網址: http://www.ptt.cc/bbs/Ajax/M.1398869897.A.9BB.html
※ 編輯: alich (123.195.193.115), 04/30/2014 23:09:58
→ danny8376:非通解就是對該網站研究他的ajax資料
→ danny8376:通解請自己弄出JS解釋器(然後你就變Google了)
推 Fantasywind:phantomjs
→ Rplus:      phantomjs  XDD
感謝各位回應~~

原本是用request + cheerio，
但這個組合似乎無法send request(?)，也只能抓到原始碼而已。

現在換成用webdriver了，上面兩個問題都可以解決，感謝各位~~
※ 編輯: alich (42.75.226.208), 05/01/2014 11:38:25