[問題] wget完整網頁

[wilson8069 (E T)]

第一次發問請多多指教> <

我想利用Linux的wget去抓取網頁資料

但發現我想抓的網頁含有ajax的內容

想請問這樣還有方法可以抓取完整的網頁內容嗎

如果wget無法做到,其他可達成的任何方法都可以...

先謝謝大家回答!!

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 123.193.36.202
※ 編輯: wilson8069      來自: 123.193.36.202       (02/13 23:29)
※ 編輯: wilson8069      來自: 123.193.36.202       (02/13 23:29)
→ mitsui0309:wget是抓檔案用的，而且還是要知道詳細網址
推 ckclark:用chrome的dev tool看一下load完整個網頁會有哪些request
→ ckclark:再去推敲ajax抓網頁其他部份的rule
推 s25g5d4:用 headless browser 跑完網頁再輸出
→ wilson8069:http://ppt.cc/LWx~
→ wilson8069:這邊附上網址~因為想抓取多個類似網頁的資料
→ wilson8069:所以想利用指令或是程式的方式!
推 danielsig727:(靜態)網頁內容的話我比較常用 curl
→ danielsig727:不過原 po 的狀況應該研究一下 ajax 從哪抓東西
→ danielsig727:然後直接去那抓資料，通常 ajax 的資料也比網頁
→ danielsig727:好 parse
→ wilson8069:嗯嗯,因為我用curl還是沒辦法抓完整的網頁@@
推 ckclark:看了一下 你需要資料是這個? http://tinyurl.com/k4mm9zd
→ wilson8069:就是這個!請問這東西在哪? 謝謝!
→ wilson8069:已經解決了!謝謝各位~詳見s版友的回文