
下記3つの条件を満たすサイトを探しています。ご存じの方、教えてください。日本語サイトでも英語サイトでもどちらでも構いません。
1.無料で使えるサイト
2.会員登録をしないと使えないサイト(別の言い方をするとログインしないと使えないサイト)
3.robots.txtが”allow”のサイト(注)
注:robots.txtが”allow”かどうかは、URLの右側に、”/robots.txt”を追加すると表示されます。
一例として、biglobeの場合は、
https://www.biglobe.ne.jp/robots.txt
User-agent: *
Disallow: /cgi-bin/
Disallow: /top-new/
Disallow: /setting/
Disallow: /cp/wowow/tokuten/
Disallow: /optinout.html
Disallow: /optin_finish.html
Disallow: /optout_finish.html
と表示され、”allow”ではないことが分かります。
A 回答 (2件)
- 最新から表示
- 回答順に表示
No.2
- 回答日時:
No.1:追記
「User-agent:*」と「Allow:/」はどちらもデフォルトで「デフォルト(制限しない)」という意味なので、これを「明示的」と表現するのでしたら、下記のように robots.txt が存在しないサイトも含まれるということでしょうか。
https://order.yodobashi.com/
たぶんですが、「ログインしないと表示できないページにおいて Disallow が指定されていない場合にどのようにインデックスされるか?」ということが質問の本質ではないかと思うのですが、私の知る限り Google Search Console においてはエラーのページとして表示されインデックス不可となります。
No.1
- 回答日時:
デフォルトが Allow なので、Allow を明示的に使っているサイトはないと思います。
ただ、Disallowで指定したURLの中で明示的に Allow を指定する可能性はありますが、その場合は Disallow したURLも結果として見えてしまいますので、そのようなサイトを構築する必要性はないと思います。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
画像生成AIのプロンプトの作り...
-
vba クリップボードクリアにつ...
-
Python... 環境設定 初心者です...
-
AIの登場でプログラマーたちが...
-
初心者powershellのPS1ファイル...
-
Geminiフォーム 画像生成で 人...
-
pythonの実行に関する質問
-
python3について。
-
iOSゲームアプリが作りたいと思...
-
Python 3.12.2 か一番最新のパ...
-
Google ColaboでGUI作成
-
数学、プログラミング、物理、...
-
pip --versionがエラーになる
-
OS入ってる機器のソフト・アプ...
-
パイソンのソースコードをChatG...
-
CSVファイルの複数行削除
-
pythonについて(初心者です)
-
MOVEコマンドでサブフォルダー...
-
プログラミング言語のバージョ...
-
AIがプログラムする時代のプロ...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
web制作 css 画面レイアウト
-
ホームページ作成について
-
ユニバーサルデザインなweb...
-
robots.txtが”allow”のサイトを...
-
偽物のウィキペディア
-
スパイウェアについて
-
携帯サイトをPCで作成できますか?
-
ブログ・サイトのRSSをもと...
-
どのサイトで、スパイウエアを...
-
Wordpressのマルチサイトで子サ...
-
PHPサイトとHTMLサイト、どっち...
-
再配布について
-
このサイト、著作権フリーです...
-
XoopsとXoopsCUBEって何が違うの?
-
通知文の文中に「以下に示すよ...
-
phpの問い合わせフォームを作っ...
-
「戻る」を押しても戻らないweb...
-
javascriptのプラグインBookBlock
-
Webサイト内に埋め込んだmp4動...
-
静止画画像をクリックすると音...
おすすめ情報
Allow を明示的に使っているサイトの一例です。
https://charts.livegap.com/robots.txt
User-agent: *
Allow: /
Sitemap: https://charts.livegap.com/sitemap.xml
1.無料で使えるサイト
2.会員登録をしないと使えないサイト(別の言い方をするとログインしないと使えないサイト)
3.robots.txtが”allow”のサイト(注)
の条件をすべて満たすサイトを探すのが難しい場合は、1.と3.を満たすサイトでも構いません。
よろしくお願いします。
下記のように robots.txt が存在しないサイトも含まれるということでしょうか。
ーー>回答はYESです。
たぶんですが、「ログインしないと表示できないページにおいて Disallow が指定されていない場合にどのようにインデックスされるか?」ということが質問の本質ではないかと思うのですが、
ーー>これは誤解です。