[請益] js有辨法寫爬蟲嗎

[vi000246 (Vi)]

打算寫一支591爬蟲

有符合條件的新物件就跳出通知

因為懶得架server跟DB 想用chrome extension來做

稍微做了研究

發現要取得房屋列表json

需要先進到591頁面

取得cookie的591_new_session跟html裡面<meta>中的csrf-token

分別放到get reqeust中的header跟cookie

才能取到我要的資料

想問用js能做得到嗎 還是一定要後端語言呢

如果要做成後端 要能設定定時執行

還要考慮跨電腦同步db問題 只打算存物件id用來判斷重複物件

想到就覺得麻煩...

好像還沒看過有人用純js寫爬蟲的?



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.68.118.128 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1595071872.A.0BE.html
※ 編輯: vi000246 (219.68.118.128 臺灣), 07/18/2020 19:37:55
→ diabloevagto: 可以
→ milktea736: 應該可以用 nodejs 試試?
推 alihue: JS 會先處理 CORS 到爆
cors超討厭的 害我的載片小幫手沒辨法在頁面inject預覽圖
只能用開新視窗的方式
※ 編輯: vi000246 (219.68.118.128 臺灣), 07/18/2020 19:39:50
→ dreamnook: 可以 查apify
→ dreamnook: 啊 不過我抓的是靜態頁面 可能不符
→ MOONY135: 非常討厭CORS
→ MOONY135: python他不香嗎
→ MOONY135: db跟server 用docker不就幫你裝好了
推 yahooc: 真香
推 x123356: 我覺得你可以先搞懂為什麼會有CORS存在 還有api gateway
→ leo5916267: 不然直接去591客服問怎麼爬你們家的網頁
→ MOONY135: https://reurl.cc/9Elgea + cron 給我香起來
→ guanting886: ....
推 seal0112: 用node.js寫 不會很難 用js browser會因為cors擋
推 BlacksPig: 11樓意見不錯，已笑翻
推 fantasychese: 最近剛好在學 你須要的是Puppeteer
推 Ayukawayen: extension在background發XHR應該就不會被CORS擋
→ Ayukawayen: 不過要先在manifest的permissions把目標網域加進去
推 Mamann: 直接nodejs不用cors啦
推 zxc8899546: 用cheerio處理html 抓取你要的部分就好
→ vi000246: 大家講的都是node.js 看來只能用後端寫了
→ TakiDog: 在瀏覽器執行一定撞cors，載片我都寫Python
→ TakiDog: 直接把連結用 書籤放js丟給python後端XD
→ leo5916267: cors可以關掉瀏覽器的cors看看,或是你webpack用proxy
→ leo5916267:  繞過去，但就只是自己用爽的而已
→ vi000246: 我打算用python寫了 買個便宜主機設定cron job
→ vi000246: 資料庫用jsonbin 應該能解決我的問題
推 kewang: SSR 還好，如果你是 CSR 的話就一定要用後端處理了，puppe
→ kewang: teer 操作萬解
→ apotatostory: 前端我用angular 框架 用proxy 啟動不會cors哦
→ qq076qq076: 樓上，ng就是幫你起了一個本地的node伺服器做proxy啊.
→ qq076qq076: ..
推 chatnoir: 有proxy當然不會有cors啊 =_=
→ Hsins: GitHub Actions 就能搞定的東西，為什麼要自己租伺服器？
推 Hitmear: 591我之前用python直接打request，一下就搞定了
→ Hitmear: 放在heroku上也免費
推 jihon2002: 這樣找租屋變好方便XD
→ jobintan: Heroku免費的應該有限制吧！還是去官網看一下比較好。
→ vi000246: heroku我記得一天要休眠6小時 沒人戳也會自動休眠
→ infixman: heroki不是綁信用卡就不用休眠？
→ infixman: *heroku
→ aa06697: 11樓XD