gogleインデックスされない理由

こんにちはよろしくお願いします。
一部のurlがずっと何ヶ月もグーグルにインデックスされません
サチコurl検査があったので検査してみたところ↓

クロールを許可？

いいえ、robots.txt によってブロックされています
ページの取得

失敗しました: robots.txt によりブロックされました

こんな感じです。
robot.txtよくわかりません。私がアップしたファイフにはそのようなファイル名はありませんでした。
クロールされない自分が感づく原因は似たようなページの同様ページで
そのページと少し文字が違うだけのページです。
インデックスされない理由わかる方いたら教えて下さい^o^;

No.1 ベストアンサー 回答者： ほーほけきょッ 回答日時： 2020/09/20 17:05

自動的に作られたのかも。

自分で新規に作っておいてみてはいかがでしょうか。
robot.txt の作り方とか最低限必要な記載内容は検索してみてください（サイトごとに必要な記載内容がありますので具体的な内容はわかりません）。

No.2 回答者： 宇宙少年ソラン 回答日時： 2020/09/21 09:03

どうぞ。

https://creive.me/archives/31197/

この回答へのお礼

ありがとうございます。再確認したものののなかったのでグーグル運営のプログラムミスかも

お礼日時：2020/09/21 18:12