大家好：
想請問一下關於Robots.txt的用法，
我照著Yahoo的網頁去設定，
不知道這樣做是不是正確，
請高手幫忙看一下：
User-agent: * //表示所有搜尋引擎
Disallow: /user/ //指定/user/底下的檔案都不能讀取
如果我Robots.txt沒指定到的檔案，
搜尋引擎會做檢索嗎？
我看Google的Robots.txt，
為什麼還有指定Allow的呢？
謝謝回答。
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 59.104.66.35