→ swpoker: javascript??? 08/18 11:31
推 brianhsu: Y 拍有擋爬蟲，看一下你 parse 的東西如果是首頁，那就 08/19 07:36
→ brianhsu: 是被擋掉了，記得要偽裝 08/19 07:36
→ Killercat: 沒UA或者UA太老實(?) 08/19 11:28
→ Killercat: 你要記得塞UA下去 08/19 11:28
→ Killercat: 不過普通來講 潛規則是如果他不願意被你爬 他就會放 08/19 11:31
→ Killercat: robots.txt或者check UA, 當然，這很好騙，只是這是一 08/19 11:31
→ Killercat: 個共通的潛規則 儘量不要大量deploy破壞規則的crawler 08/19 11:31
→ swpoker: 爬蟲跟DDOS沒甚麼兩樣~網站管理員很討厭的~ 08/19 17:51
→ storypp: 新手小問..UA是什麼?GOOGLE關鍵字可以下什麼來學... 08/20 00:00
推 brianhsu: User-Agent，是 HTTP 的 Header，給網站判別連進來的是 08/20 08:06
→ brianhsu: 哪種 browser 08/20 08:06
→ ccas: 我記得Y爬太快也會被擋~~要記得不要爬太快 08/20 13:01
推 Killercat: 像是google的crawler的UA就很老實的說Googlebot XD 08/21 14:36
→ Killercat: 也有的是會塞session到cookie的網頁 至種普通crawler 08/21 14:38
→ Killercat: 也沒辦法爬太深 多半只能爬到地一層...我說土炮的bot 08/21 14:39
→ Killercat: 很多open source的crawler會處理cookie-session 08/21 14:39
→ Killercat: 不過這是技術問題, 道德問題還是要注意一下 :P 08/21 14:40
→ Killercat: 另外一個比較有可能出包的的就是檢查referer 08/21 14:42
→ Killercat: 這也是大多數crawler會幫你處理的技術問題就是 08/21 14:42