【緊急】Googleウェブマスターツールのエラー

Googleのウェブマスターツールで7/18付けで「Googleがサイトにアクセスできません」とのエラーが出ていました。


エラー全文↓
---------------------------
Googlebot が robots.txt へのアクセスを試みましたが、過去 24 時間で 41 件のエラーが発生しました。このファイルに指定されているページをクロールしないようにするため、クロールを延期しました。このサイト全体での robots.txt エラー率は 100.0% です。
---------------------------

FTPを確認し、2年前に前任者が設置したhtaccessが、
特定のIPアドレスを50ほど拒否する設定になっていました。
（2年前はスパムアクセスの多いサイトだった為？前任者が退職しているので詳しい理由が分からず）

◆対処した事
１．IP拒否のhtaccessを削除
→htaccessの拒否IPの中にGooglebotのアドレスが含まれていないとも限らないため

２．robots.txtがなかったので、下記の内容にして設置
　User-agent: *
　Allow: /
　Sitemap: http://○○○.jp/sitemap.xml

３．念のためサーバ管理会社に連絡し、
サーバエラーや、サーバ側でのアクセス拒否設定など無いことを確認


その後、ウェブマスターツールに書いてあった通り、Fetch as Googleにてホームページの取得およびｒｏｂｏｔｓ．ｔｘｔへのアクセスを試みましたが、２日経った今日現在も「robots.txt にアクセスできません」エラーが起きています。

Googleの下記フォーラムも確認してみましたが
http://productforums.google.com/forum/#!topic/we …
サーバ側の問題でない場合、robots.txtのAllowとDisallowの違いくらいだと思うのですが・・・・

上記のウェブマスターツールのエラーは7/11にも出ていたらしく、見逃してしまったせいで現在Googleからインデックスを削除されているようです。（ドメイン名で検索しても出てこない）
robots.txtにアクセスできないエラーが解除されないことにはどうしようもないのですが、対処法がありましたら教えて下さい。宜しくお願いします。

No.1 回答者： Blatsan 回答日時： 2013/07/21 22:58

基本的な確認事項が抜けているようですが、実施されましたかね？

実際に自社やご自宅のアクセスから、普段使っているブラウザから　http://○○○.jp/robots.txt にアクセスが出来ますか？

アクセスが出来るのなら、何か文字化けをしているとか、目視にておかしな所は無いでしょうか？



アクセスが出来たのなら、UserAgentを変更出来るツールなどを使い、Googlebotを装って、もう一度アクセスしてみてください。


それでもアクセスが出来るのなら、アクセスログを見て、本当のGoogleBOTからrobots.txtにアクセスがあった記録を探してみましょう。
アクセスログに200なのか、他に503エラーが出ていないか、ログを確認して見ましょう。

この回答への補足

回答ありがとうございます。
文字化けなし・アクセス可は複数のPC・ブラウザで確認しているので大丈夫と思います。

UserAgentを装って・・というのは、Safariの開発者ツールや、Chromeの開発ツールでUserAgentのところにGooglebotのUAを入れてアクセスしてみたので合っていますか？
https://support.google.com/webmasters/answer/106 …
上記のページに書いてあるUAを一つずつ入れて確認しましたが、アクセスできました。

アクセスログの件は確認してみます。
ありがとうございます。

補足日時：2013/07/21 23:38