Re: 你版懂爬蟲的進來

[Sumiremywife (平安名堇我的婆)]

※ 引述《Sumiremywife (平安名堇我的婆)》之銘言
: 現在linkedin.com 防爬機制是不是超強啊。 怎麼做都會被擋   難道真的要購買代理池
嗎(
: 像是proxycurl)
: 問一下
: 我朋友在爬國外的資料庫
: 一直被擋
: 想問問看解法




→  surimodo : 領英查了一下不好爬應該是說 你朋友的數據量需求多大如果很大就是買代
理IP池 或者購買那種現成爬蟲方案很小 就小數據慢慢爬


我朋友目前是台大經濟系某教授助理

他老闆好像要他抓大概2萬筆資料要寫論文還是啥
我原本也跟他說
要不要請他花錢找代理
然後經費跟老闆報銷
然後
我朋友他老闆跟他說
要是你做不到這件事
那我也不用花錢請你了

點點點

原本我朋友入職以為只要寫一些簡單的爬蟲
試用期過後沒想到盡是幹些吃力不討好還違法的事情


我朋友在問說
有沒有推薦代理池廠商
尤其是對linkdin profile 服務好的代理池
因為有些廠商爬出來的資料不完整
萬一資料不完整一定被幹死

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.42.148 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1776485776.A.310.html
推 smart0eddie: 塊陶
→ Sumiremywife: 我們昨天還在想是不是IP或帳號問題 或是他主機機械
→ Sumiremywife: 碼被人家記住了
→ Sumiremywife: 就用我這台電腦+掛VPN創了新帳號下去爬
→ Sumiremywife: 結果爬完第二筆資料就被封 牛逼
※ 編輯: Sumiremywife (42.79.42.148 臺灣), 04/18/2026 12:24:14
→ surimodo: 瀏覽器沒機械碼啦
→ surimodo: 有可能是cookie沒換被封或者一些header沒設定好
→ surimodo: 如果方便直接看程式碼比較快
→ Sumiremywife: 程式碼喔 我等等找地方上傳 等我下
→ surimodo: 2萬筆感覺沒到很多
→ surimodo: 是不急 我還在公司當牛馬 真的能幫忙看也是晚上 = =
→ Sumiremywife: 行 慢慢來 感謝