error_logファイルの「robots.txt」は何を意味していますか。

Perl初心者です。
プログラミングがうまくいかず、原因を調べています。
ログファイルを見たところ下記のような記述がありました。
何を意味しているか教えて下さい。
[error] [client **.**.**.**] File does not exist: /home/****.com/robots.txt
これは何を意味していますか、教えて下さい。

No.3 ベストアンサー 回答者： retr 回答日時： 2002/09/22 17:33

そのログは、形式から云って、httpd（apache）のエラーログです。

PerlによるCGIの標準エラー出力もそのログにかかれますが、もともとWebサーバのログなので、PerlやCGIとは関係ないログも混じります。（もしかしたら、ここを勘違いされてませんか？）

robots.txtは検索ロボットが勝手に見にくるファイルです。当然、Perlなんかは関係ありませんし、ctpsysさんが、何を書いても書かなくても、Perlスクリプトがおかれていなくても、関係ありません。リンクや、リファラーを辿って、勝手にくるんですから。
でもって、Webサーバは、リクエストされたファイルが存在しないと、上記のエラーをはきます。
はっきりいって、robots.txtを用意している人の方が稀でしょうから、世界中の大部分のWebサーバのログにはこのエラーがかかれているはずです。
全く気にすることはありませんし、あなたがかかれているPerlとは、全く関係ありません。
どうしてもこのエラーが見たくないなら、ドキュメントルートに、robots.txtというファイルを置いてやればいいだけです。

この回答へのお礼

有難うございました。良く分りました。又安心しました。
分らないことが多く、皆様のご回答で、いつも助かっています。

お礼日時：2002/09/22 18:10

No.2 回答者： retr 回答日時： 2002/09/22 12:25

[error] [client **.**.**.**] File does not exist: /home/****.com/robots.txt

とかいてあるのだから、リクエストされたファイルが見つからないよ！というエラーです。
あなたが、ドキュメントルートにrobots.txtを用意していないのだから、もちろん見つかるわけありません。
robots.txtに限らず、存在しないファイルにアクセスがあると、このエラーが吐かれます。
ユーザには、「404 File Not Found.」などと表示されます。見覚えあるでしょう？

この回答へのお礼

retrさん　有り難うございます。
だいぶ分かってきました。
本を見ながら、スクリプトを書いているのですが、robots.txtと書いていないのに
なぜ、このエラーが書き出されるのか分かりません。
それとも、何かスクリプトで書いた、ファイルがどこかで抜けているということでしょうか。
お教え下さい。

お礼日時：2002/09/22 16:32

No.1 回答者： noname#4147 回答日時： 2002/09/22 10:34

googleなんかの検索エンジンが、巡回ロボットで、データベース化してるのは語損ですよね？

でも、なかには、自分のホームぺージは検索エンジンに載せたくないという人もいます。
だから、ロボットは、/robots.txt ファイルをまず見て、もしこれに、登録しないよう書かれていたら、そのサイトは無視するように作られています。
もちろん、これを守らないロボットもいますが。
書き方等は、下記を参照してください。

参考URL：http://www.math.tohoku.ac.jp/~kuroki/keijiban/Ro …

この回答への補足

yostyさん
早速ご回答有り難うございます。
robots.txt は検索ロボットが見るファイルですか。
重ねて質問したいのですが、
これがなぜerror_logに書き込まれているのかわかったら、お願いします。

補足日時：2002/09/22 11:18