![](http://oshiete.xgoo.jp/images/v2/pc/qa/question_title.png?5a7ff87)
いろいろ調べてみたのですが、自分の知識が乏しいようでよくわからなく困ってしまいこちらで質問させていただきたいと思いますのでよろしくお願い致します。
当サイトのグーグルのウェブマスター ツール で確認してみたところ、
「ウェブ クロール エラー 」のURLにアクセスできませんという項目に28件もエラーがのっていました。トップページをはじめとしてエラーになっていたので心配になりました。「robots.txt にアクセスできません」となっております。
「robots.txt ファイルに対して URL をテスト」というのを試してみたのですが、ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性がありますと表示されました。
以前はこんな表示はでてなかったように思いますし、これはどういうことなのでしょうか?
こういう表示がでてきてるということは、エラーのページは無視されてしまうということですか?
今までは<META name="ROBOTS" content="ALL">というタグを埋め込んでましたが、これを使っても意味がないので削除するように教えていただいて実行したのですが、これと関係ありますか?
どう対処していったらいいのしょうか?
robots.txt というのを作成したことがなく、特に問題はなかったのですが、これは自分で作ってアップするものなのですか?
どうごご助言よろしくお願い致します。
No.2ベストアンサー
- 回答日時:
「robots.txt」にアクセスできませんと出るのは、単純にrobots.txtが存在しないからというだけだと思います。
なくても別に問題はありませんから、このエラーは気にする必要はありません。「URLにアクセスできません」のエラーでは詳細にそれぞれ何と出ていますか? おそらく「ネットワークにアクセスできません」などと表示されていると思いますが、これはGoogleがクロールしようとしたときにページが読めなかった場合に出るエラーです。
Googleがクロールしたのが運悪くサーバに負荷の集中する時間帯でページが取得できなかったり、たまたまサーバがダウンしていたときにクロールしたりすると、そのようなエラーになります。一時的にGoogleのキャッシュからは削除されるでしょうが、次回クロール時に取得できれば復活します。
METAタグについては、特に記載がなければすべて許可されているという前提でクロールするはずです。GoogleでのMETAタグの扱いについて説明されたページを参考URLに挙げておきます。
個人のサイトならあまり気にする必要はないと思いますが、もしGoogleに登録されない期間のあることが問題になるなら(企業のページやオンラインショップの場合は業務に影響あるでしょうから)、エラー状況によってはもっと性能の良いサーバへの移転を考えられた方が良いかもしれません。
参考URL:http://www.google.co.jp/intl/ja/remove.html#excl …
No.3
- 回答日時:
こんにちわ。
robots.txtを置いておくと、Googleのクローラー(ページを集めるロボットみたいなもの)読み込ませたい、読みこまれたくないページなどを指定することができます。
なお、サイトのTOPページURLのあとに、「robots.txt」と書くと見れますよ。
こんな感じで。
mixi
http://mixi.jp/robots.txt
amazon
http://www.amazon.co.jp/robots.txt
http://www.google.co.jp/robots.txt
No.1
- 回答日時:
適当な事言ってるかもしれないので話半分に聞いて下さい。
robots.txtってのはご自分で指定した検索ワードを引っかかるようにしたい時に使う物だと理解してます。
例えばHPが全部Flashで出来ていて検索ワードをクロール出来ない様な場合とか。
だから普通のHPには分には必要無いんじゃないかな
ほっといても勝手にクロールされるんで。
そういう意味でMETAタグは意味がないって言われたんじゃないでしょうか。
逆に、検索には引っかけたくない場合はMETAとか必要ですけどね。
ご回答ありがとうございます!
普通のHPには必要ないのですね、たぶんMETAタグは意味がないって言われたかたもそのような理由からかもしれません・・・。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- Excel(エクセル) Excelを開くとエラーが出る 2 2022/10/03 16:13
- その他(開発・運用・管理) WindowsからSSHでサーバーにあるファイルをダウンロードできない…。 3 2022/04/24 11:08
- その他(プログラミング・Web制作) robots.txtが”allow”のサイトを探しています 2 2022/10/09 13:07
- Microsoft ASP C#からvbsを実行したい 5 2022/11/24 17:31
- その他(IT・Webサービス) ホームページにカウント数を表示する 2 2022/10/28 10:37
- FX・外国為替取引 MQL5にて謎のエラーが発生!だれか対処を教えてください! 1 2023/03/25 15:59
- MySQL #1062 - '0' は索引 'PRIMARY' で重複しています。とでています。 1 2023/01/01 06:13
- フリーソフト イーファンビューでwebpファイルが開けません 1 2022/07/12 07:07
- その他(プログラミング・Web制作) .htaccessファイルの修正がこれで問題ないかどうか 1 2022/04/21 08:42
- その他(メールソフト・メールサービス) サンダーバードメール移動しない 1 2023/05/13 11:21
関連するカテゴリからQ&Aを探す
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
VBAでFormat がうまく使えない
-
pythonをjupiter notebookからm...
-
VB5のEXEの起動時エラー
-
エラーコード 70 「書き込み...
-
EXCELを開くとエラーがでます。
-
robots.txt
-
【Win32Api】 ERROR_BAD_UNIT ...
-
フォルダをパソコンから削除し...
-
jw cadの名前をつけて保存・・...
-
ショートカットファイルが開け...
-
WIN10にアップデートしたら
-
フォルダを間違って削除しない...
-
MS-DOSゲームってどうやればで...
-
アイコンを変更したフォルダを...
-
勝手にショートカットのリンク...
-
パソコン(Win10)から削除してい...
-
C:\\Users\\All Users\\Applica...
-
保存時の保存場所に違いはある...
-
SSDで完全削除は不可能?
-
Dropbox 容量が上限に達しました
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
VBAでFormat がうまく使えない
-
Debug Assertion Failed?
-
NET USE コマンドでエ...
-
Web.Config 構成ファイルのエラー
-
vbaでファイルを開くパス名に変...
-
エラーコード 70 「書き込み...
-
Excel ファイルに保存すると実...
-
POV-Ray についての質問です!
-
シェルスクリプトの実行エラー...
-
Access ADOで文字列を日付型へi...
-
不明なソフトウェア例外(0xe06...
-
ホームページビルダーの”全体の...
-
C# HttpWebRequestのエラーにつ...
-
ASP.NETでのランタイムエラー?...
-
EXCELを開くとエラーがでます。
-
【ASP】500エラーが発生する【A...
-
LTspiceのTime Stepエラーについて
-
VBAで印刷するとエラーになって...
-
ACCESS VBAのOpenForm書き方
-
Eclipseでのエラー検出の機能に...
おすすめ情報