看板 Soft_Job 關於我們 聯絡資訊
不好意思,想藉這個標題問一下 如果爬商業網站的話 寫通知信或是告知信需要給哪個部門? 還是寫給客服信箱才可以? 不然到時候我怕實驗爬蟲程式 搞到最後被反制或是列為黑名單ip就糟糕了 謝謝! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.136.209.27 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1612441694.A.92E.html
alihue: 幹嘛寫 難道人家會為了你去申請這個 ip 列白名單嗎 02/04 21:00
knives: 寫什麼,太閒 02/04 21:04
DarkIllusion: 告知後直接進黑名單 02/04 21:35
mercurycgt68: 小夫我要進來了 02/04 21:58
EPGo: 怕的話也可以買 IP 02/04 22:01
vi000246: 你可以反制他的反制啊 寫爬蟲就是這樣 見不得光 02/04 23:04
kurtsgm: XD 金勾追 02/05 00:30
Virness: XD 怪盜基德嗎 我晚上9點要進來囉 02/05 00:47
viper9709: 推三樓 02/05 00:53
pumapupa: 可能就看一下robots.txt吧? 02/05 01:05
taipoo: 定時間換ip就可以解決這個問題了 02/05 02:23
aidansky0989: 先爬500個代理ip之後隨便你玩 02/05 06:55
gs8613789: 爬蟲的樂趣不就是攻防嗎 02/05 07:02
spfy: 現在還能看到請謝謝對不起的有禮鄉民真的少見 02/05 07:51
oncemore: 寫了你直接被吉 02/05 09:44
devilkool: 怪盜基德www 02/05 09:46
mychiux413: 我通常request前都sleep一下,不要造成人家主機負擔 02/05 10:02
mychiux413: ,當個友善的網路公民 02/05 10:02
yam276: 從此在暗網的角落,流傳著現代怪盜基德的傳說…… 02/05 10:32
liujh: 不會在黑名單太久,防火牆記憶體有限 02/05 11:07
liujh: 不要同時平行跑太多工作,對方都沒什麼感覺 02/05 11:11
liujh: 最暴力的爬蟲是 Google Bot,你很難像他那麼兇狠 02/05 11:13
rahit: 把爬的速度放慢到跟user差不多然後放著做別的事 02/05 13:00
Bujo: 你直接請他給你database 帳密比較快 02/05 13:02
wahaha279: 發個request 睡個五秒,然後你去睡一覺 02/05 13:15
ian90911: fb的我覺得也很兇... 02/05 14:34
Darkword1987: 太溫良恭儉讓了吧 02/05 15:47
andrew5106: 寫個random sleep阿,防止ban ip也有很多方法吧 02/05 16:41
jimmily: 大哥你也太可愛了吧XD 02/05 17:16
accessdenied: 目前爬蟲遇到無法克服的障礙就是captcha, 有人知道 02/05 18:55
accessdenied: 有什麼工具嗎? 02/05 18:55
james852: 回樓上 OCR 02/05 20:53
vi000246: captcha是大坑喔 要學openCV ML 看圖片難易度 02/05 21:39
OrzOGC: V3現在不用了不是? 02/05 21:48
aidansky0989: 現在不都是滑塊?還有驗證碼喔 02/05 22:32
accessdenied: ocr無用,我試過很多 ocr 方案,他們都只能對印刷字 02/06 02:31
accessdenied: 體有辨識力,手寫字和扭曲的captcha無法辨識 02/06 02:31
art1: 看過有人寫程式產生資料集然後訓練一個 ocr model 來解決 02/06 07:41
TheOneisNEO: 自幹的OCR應該也很難堪用吧 02/06 10:45
new122851: 笑死 你有聽過小偷偷東西前還先告知屋主我要偷了哦? 02/06 12:34
new122851: 被黑單掛個vpn再戰 02/06 12:35
chkea380: captcha隨便套個cnn model就可以了 02/06 20:53
LittleYueh: 怪盜基德超好笑哈哈哈哈 02/06 22:59
sarsman: 有禮貌爬蟲 02/07 06:09
b85040312: 你應該有長鬍子 02/07 15:29
uncleben006: 推有禮貌蟲蟲 02/08 19:38
pringles27: 爬ptt股版即時資訊,並透過line來通知 02/15 23:13