[問題] 用JS做網路爬蟲是否可行?

[peace9527 (謝謝你9527)]

本來一直都是用python在做網路爬蟲

但因為公司有新需求

想要直接在網頁上按按鈕 就能抓下需要的資料

因此我想到了google 插件 可以滿足這種UX

而google插件只能用JS寫 所以我就重拾JS的懷抱

玩了一整天後

目前覺得JS應該可以做網路爬蟲

只是不知道是否好做呢?

像Python有好用的BS4 selenium等等 做網路爬蟲很方便很輕鬆

目前我只知道jquery的 querySelectorAll function

想知道還有沒有其他更好用的網路爬蟲function呢?

感謝各位大神的解答!

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.232.189.161
※ 文章網址: https://www.ptt.cc/bbs/Ajax/M.1455702470.A.CAE.html
※ 編輯: peace9527 (36.232.189.161), 02/17/2016 17:48:00
→ rarex: node.js有很多這種資源呀 可以往這方面去找找看
推 rayway30419: nodejs + spider/crawler一大堆
推 BigTounge: nide cheerio
→ BigTounge: node打錯
→ Peruheru: 原PO想問的是前端JS吧?不然後端爬蟲用什麼語言哪有差
→ Peruheru: 網頁端JS的話，跨網域的抓取有滿多限制的
推 shadowjohn: node-webkit也ok啊...也沒跨域的問題ajax亂衝
→ shadowjohn: iframe也可以亂穿~自加code :D
推 honestyer: nodejs 滿足你的需求
→ nightspirit: 前端爬跨網域太麻煩, 後端爬可用phantom.js
推 pleasewait: cheerio 棒棒
推 hsuan0904: 可以看看 Tampermonkey