Re: [教學] 減慢 Yahoo bot 索引的速度

[WebGhost (WebGhost)]

不好意思借用這篇文章請問一下
要怎麼知道Yahoo或Googl放bot來索引我的網頁？
會有什麼紀錄嗎？怎麼查？

謝謝


※ 引述《stOOrz6 (stOOrz)》之銘言：
: ※ [本文轉錄自 Blog 看板]
: 作者: stOOrz6 (stOOrz) 看板: Blog
: 標題: [教學] 減慢 Yahoo bot 索引的速度
: 時間: Mon Mar 12 14:37:08 2007
: 原文: http://blog.stoorz.org/archives/2007/03/12/84/
: 繼上次看到 Yahoo 在五分鐘之內放出 12 隻 bot 來索引我的網頁之後，剛剛又看
: 到五分鐘之內有五十幾隻 Yahoo Bot 跑來想要索引我的 blog 文章。
: 基本上，被索引是正常的，這樣搜尋引擎才知道怎麼讓別人找到你的網頁，但是像
:  Yahoo 的 bot 這樣子短時間之內大量存取網頁，而且頻率又那麼高，幾乎隨時都
: 可以在後台看到 Yahoo 的 bot 在看我的 blog 文章。
: 索引頻率這麼高，對自己架站的部落客來說，一方面頻寬會被吃掉，另一方面如果
: 是買 hosting 之類的虛擬主機，每個月又有流量限制，光被 bot 索引就吃掉大部
: 分的流量了。
: 解決的辦法就是利用 robots.txt 來限制 Yahoo bot 的索引速度。只要在根目錄
: 下產生一個檔名叫做 robot.txt 的檔案，裡面的內容為
:     User-agent: *
:     Disallow:
:     User-agent: Slurp
:     Crawl-delay: 300
: 這樣就可以告訴 Yahoo 的 bot 間隔五分鐘才能來索引一次。 至於 Google 的
:  bot，只要有設定 sitemap 的話，就會依照 sitemap 的設定頻率來索引，所以比
: 較沒有問題。
: 原文: http://blog.stoorz.org/archives/2007/03/12/84/

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 59.114.195.121
→ fillano:log會記錄阿。