robots.txt

いろいろ調べてみたのですが、自分の知識が乏しいようでよくわからなく困ってしまいこちらで質問させていただきたいと思いますのでよろしくお願い致します。
当サイトのグーグルのウェブマスター ツール で確認してみたところ、
「ウェブ クロール エラー 」のＵＲＬにアクセスできませんという項目に28件もエラーがのっていました。トップページをはじめとしてエラーになっていたので心配になりました。「robots.txt にアクセスできません」となっております。
「robots.txt ファイルに対して URL をテスト」というのを試してみたのですが、ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性がありますと表示されました。

以前はこんな表示はでてなかったように思いますし、これはどういうことなのでしょうか？
こういう表示がでてきてるということは、エラーのページは無視されてしまうということですか？

今までは<META name="ROBOTS" content="ALL">というタグを埋め込んでましたが、これを使っても意味がないので削除するように教えていただいて実行したのですが、これと関係ありますか？
どう対処していったらいいのしょうか？

robots.txt というのを作成したことがなく、特に問題はなかったのですが、これは自分で作ってアップするものなのですか？

どうごご助言よろしくお願い致します。

No.2 ベストアンサー 回答者： magid 回答日時： 2007/04/15 10:07

「robots.txt」にアクセスできませんと出るのは、単純にrobots.txtが存在しないからというだけだと思います。

なくても別に問題はありませんから、このエラーは気にする必要はありません。

「URLにアクセスできません」のエラーでは詳細にそれぞれ何と出ていますか? おそらく「ネットワークにアクセスできません」などと表示されていると思いますが、これはGoogleがクロールしようとしたときにページが読めなかった場合に出るエラーです。

Googleがクロールしたのが運悪くサーバに負荷の集中する時間帯でページが取得できなかったり、たまたまサーバがダウンしていたときにクロールしたりすると、そのようなエラーになります。一時的にGoogleのキャッシュからは削除されるでしょうが、次回クロール時に取得できれば復活します。

METAタグについては、特に記載がなければすべて許可されているという前提でクロールするはずです。GoogleでのMETAタグの扱いについて説明されたページを参考URLに挙げておきます。

個人のサイトならあまり気にする必要はないと思いますが、もしGoogleに登録されない期間のあることが問題になるなら（企業のページやオンラインショップの場合は業務に影響あるでしょうから）、エラー状況によってはもっと性能の良いサーバへの移転を考えられた方が良いかもしれません。

参考URL：http://www.google.co.jp/intl/ja/remove.html#excl …

この回答へのお礼

教えていただいたページを見てみました。
ありがとうございました★

お礼日時：2007/04/30 15:32

No.3 回答者： la_pure 回答日時： 2007/04/15 13:42

こんにちわ。

robots.txtを置いておくと、Googleのクローラー(ページを集めるロボットみたいなもの)読み込ませたい、読みこまれたくないページなどを指定することができます。

なお、サイトのTOPページURLのあとに、「robots.txt」と書くと見れますよ。

こんな感じで。
mixi
http://mixi.jp/robots.txt
amazon
http://www.amazon.co.jp/robots.txt
google
http://www.google.co.jp/robots.txt

この回答へのお礼

なるほど～、ありがとうございました★

お礼日時：2007/04/30 15:36

No.1 回答者： Go-Takkyu 回答日時： 2007/04/14 09:10

適当な事言ってるかもしれないので話半分に聞いて下さい。

robots.txtってのはご自分で指定した検索ワードを引っかかるようにしたい時に使う物だと理解してます。
例えばHPが全部Flashで出来ていて検索ワードをクロール出来ない様な場合とか。

だから普通のHPには分には必要無いんじゃないかな
ほっといても勝手にクロールされるんで。
そういう意味でMETAタグは意味がないって言われたんじゃないでしょうか。

逆に、検索には引っかけたくない場合はMETAとか必要ですけどね。

この回答へのお礼

ご回答ありがとうございます！
普通のＨＰには必要ないのですね、たぶんMETAタグは意味がないって言われたかたもそのような理由からかもしれません・・・。

お礼日時：2007/04/14 22:43