[問題] 網站無法被google爬

[ldkrsi (衰神)]

從11/30起

google網站管理員就顯示

無法連上 robots.txt

但在我的根目錄底下並沒有robots.txt這個檔案(連過去是404

即使新建個robots.txt(755)也顯示一樣的錯誤



bing可以正常抓到

網域名是twbbs.org的子網域

主機商是freehostia



有人遇過同樣的問題嗎?

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.113.242.111
→ BloodyDawn:也許不是即時更新?
→ hermitwhite:全文搜尋得到內容嗎？
這一兩天用google模擬器爬的結果
無法連上robots.txt 和 無法連上網頁 交互出現

用bingbot去抓是顯示意外的錯誤，但sitemap可正常匯入
(google是URL timeout: robots.txt timeout

http://www.ehtisham.com/2012/11/24/google-com-pk-hacked-technical-details-dns/
會和這新聞有關嗎?
※ 編輯: ldkrsi          來自: 140.113.242.111      (12/17 22:12)