グーグルサイトマップ で robots.txt が勝手に作成される。

グーグルウェブマスターツールでモバイルサイトマップを登録し、
数日後、サイト設定　→　クローラーのアクセス　を見てみると、
robots.txt　を作成していないにもかかわらず、

行 4: Crawl-delay: 8 Googlebot によりルールが無視されました
行 7: Crawl-delay: 5 Googlebot によりルールが無視されました
行 10: Crawl-delay: 5 Googlebot によりルールが無視されました
行 13: Crawl-delay: 8 Googlebot によりルールが無視されました
行 16: Crawl-delay: 8 Googlebot によりルールが無視されました
行 19: Crawl-delay: 8 Googlebot によりルールが無視されました
行 22: Crawl-delay: 5 Googlebot によりルールが無視されました
行 25: Crawl-delay: 5 Googlebot によりルールが無視されました
行 28: Crawl-delay: 8 Googlebot によりルールが無視されました
行 31: Crawl-delay: 5 Googlebot によりルールが無視されました
行 34: Crawl-delay: 5 Googlebot によりルールが無視されました
行 37: Crawl-delay: 8 Googlebot によりルールが無視されました
行 40: Crawl-delay: 10 Googlebot によりルールが無視されました

という文字列が解析結果に記載されておりました。

また、http://●●●.com/robots.txt というＵＲＬがクリック出来るようになっており、クリックするとアクセスが出来、

User-agent: Slurp
Crawl-delay: 8

User-agent: msnbot
Crawl-delay: 5

User-agent: nutch
Crawl-delay: 5

User-agent: yeti
Crawl-delay: 8

User-agent: Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
Crawl-delay: 8

User-agent: naverbot
Crawl-delay: 8

User-agent: googlebot
Crawl-delay: 5

User-agent: dotbot
Crawl-delay: 5

User-agent: twiceler
Crawl-delay: 8

User-agent: yandex
Crawl-delay: 5

User-agent: Teoma
Crawl-delay: 5

User-agent: BoardReader
Crawl-delay: 8

User-agent: Exabot
Crawl-delay: 10

このようなテキストファイルが表示されました。

自分では作成しておらず、もちろんサーバーにはアップしておりません。
ＦＴＰでサーバー内を探してもそのような　txtファイルは存在しておらず、削除も出来ず困っております。

普通に全部のページにクローラーに巡回してほしく、制限をかけるつもりもありません。

いろいろ調べたのですが、
行 4: Crawl-delay: 8 Googlebot によりルールが無視されました

この文章の意味も良く理解が出来ず、クローラーの制限がかけられていたら嫌だなと思い、早急に対処法が知りたく思っております。

どうぞよろしくお願い致します。

No.1 回答者： taba 回答日時： 2010/02/25 15:30

ご自身で作成していないのであれば、そのrobots.txtはサーバーの管理会社（管理者）が作成したと考えるしかないですよね。

管理会社（管理者）に問い合わせてください。
おそらく、検索エンジンのロボットが頻繁に読みに来て負荷がかかるのを避けているのではないかと思います。

この回答へのお礼

ありがとうございました。
なるほど　そういう事もあるのですね。
参考になりました。

拒否している訳ではないのですよね。
巡回頻度を遅らせているだけ　という意味でとらえてよろしいのでしょうか？

お礼日時：2010/02/25 20:29