[問題] 爬動態資料問題

[zcxcxc20002 (凌晨是我)]

各位大大大家好，
爬網頁資料很常被用來做一些資料搜集或整理上，

以前不管是使用DOM的比對或者是Regex來處理都還好處理，

但自從很多網頁開始使用動態載入資料之後，原本的做法變得不可行。


不知道版有大大有沒有相關資訊可以用來解決這樣的問題？
是否要透過不一樣的技術來搜集資料。？



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.122.184.47
※ 文章網址: https://www.ptt.cc/bbs/Web_Design/M.1425277832.A.91F.html
推 mmis1000: phantom js
→ mmis1000: 要不然就自己解出ajax的網站模擬request
→ mmis1000: 現在瀏覽器的開發者工具都有看request的功能
→ guanting886: phantom +1，不過早期都是用C#+WebBrowser硬幹
推 tom76kimo: 試試 https://github.com/tom76kimo/RoadMap-JS >//<
→ zcxcxc20002: 謝謝各位大大提供，我也都用Ｃ＃抓比較多
→ slamgundam: 想問phantomjs可以操作linux換IP嗎～?
→ mmis1000: 你可以把他跟其他語言合用？像是nodejs就有phantom的
→ mmis1000: bridge，phantom js本身也能單獨拿來當server用
→ mmis1000: phantom js本身應該沒那些功能
→ slamgundam: Ok，我再研究看看，感謝你～
→ best940070: 寫瀏覽器套件去抓