下記3つの条件を満たすサイトを探しています。ご存じの方、教えてください。日本語サイトでも英語サイトでもどちらでも構いません。
1.無料で使えるサイト
2.会員登録をしないと使えないサイト(別の言い方をするとログインしないと使えないサイト)
3.robots.txtが”allow”のサイト(注)
注:robots.txtが”allow”かどうかは、URLの右側に、”/robots.txt”を追加すると表示されます。
一例として、biglobeの場合は、
https://www.biglobe.ne.jp/robots.txt
User-agent: *
Disallow: /cgi-bin/
Disallow: /top-new/
Disallow: /setting/
Disallow: /cp/wowow/tokuten/
Disallow: /optinout.html
Disallow: /optin_finish.html
Disallow: /optout_finish.html
と表示され、”allow”ではないことが分かります。
A 回答 (2件)
- 最新から表示
- 回答順に表示
No.2
- 回答日時:
No.1:追記
「User-agent:*」と「Allow:/」はどちらもデフォルトで「デフォルト(制限しない)」という意味なので、これを「明示的」と表現するのでしたら、下記のように robots.txt が存在しないサイトも含まれるということでしょうか。
https://order.yodobashi.com/
たぶんですが、「ログインしないと表示できないページにおいて Disallow が指定されていない場合にどのようにインデックスされるか?」ということが質問の本質ではないかと思うのですが、私の知る限り Google Search Console においてはエラーのページとして表示されインデックス不可となります。
No.1
- 回答日時:
デフォルトが Allow なので、Allow を明示的に使っているサイトはないと思います。
ただ、Disallowで指定したURLの中で明示的に Allow を指定する可能性はありますが、その場合は Disallow したURLも結果として見えてしまいますので、そのようなサイトを構築する必要性はないと思います。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 英語 英語についての質問です。 先日問題を解いていると次の文章に会いました。 …an eight-week 1 2022/09/15 11:55
- サーバー IIS10でホスト名を設定するとHTTP Error 404が出てしまいます 1 2022/04/04 13:17
- HTML・CSS リンクバナーのHTMLタグ。画像を変えたり、設置位置を変えるとバナー貼付け側はどう見える? 2 2023/02/01 12:01
- 英語 Ninety bone level Straumann implants will randomly 1 2022/07/18 11:14
- その他(IT・Webサービス) 喪中はがきのテンプレートについて 3 2022/11/12 14:42
- 日本語 「注目を集める」は重言でしょうか 6 2023/01/08 18:19
- その他(IT・Webサービス) MacとWindows Google検索した時のURL表示の違いについて 1 2022/11/17 10:38
- 英語 「所有格+数量詞+名詞」と「数量詞+of+所有格+名詞」の意味やニュアンスの違い等について 4 2023/06/28 11:34
- WordPress(ワードプレス) ワードプレスで検索サイトのプラグインを探しています。 1 2023/02/26 12:20
- 株式市場・株価 株式サイト何を使ってますか? 有料なら何がおすすめですか? 株投資家の皆さん、ぜひ教えて下さい! 株 6 2023/05/08 20:57
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
VBA 電話番号の正規表現について
-
プログラマーと学歴の関係性に...
-
vba クリップボードクリアにつ...
-
このURLで広告を出しているのは...
-
ImageMagickでgif画像の一部が...
-
小学1年生の子です。塾に行かせ...
-
プログラミングのPythonのnoteb...
-
GoogleAppsScript文字列置換の...
-
楽しくて最高のプログラミング...
-
ホワイトハッカー
-
プログラミング ソースコード
-
ものづくりに向いているプログ...
-
大学のゼミのレポートがムカつ...
-
スカラーのベクトル微分
-
初心者powershellのPS1ファイル...
-
Google ColaboでGUI作成
-
プログラミングで例えばゲーム...
-
Powershellとコマンドプロンプト
-
MacのPythonでの開発について
-
Latexに関する質問です。
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
これは安全でないことが報告さ...
-
Wordpressのマルチサイトで子サ...
-
iWebは2台のMacで使えない?
-
Webサイト内に埋め込んだmp4動...
-
「戻る」を押しても戻らないweb...
-
webサイトを簡単に作成する方法...
-
静止画画像をクリックすると音...
-
自転車について
-
SEOに被リンクは全く必要が...
-
「八百万の神」このサイトは何...
-
スマホでボタンがhoverの状態か...
-
Webデザインや広告制作について...
-
「全面リニューアル」の意味
-
WordPressに関しまして。WordPr...
-
WordPressに関しまして。WordPr...
-
入力窓にカーソルを合わせると...
-
HPを作りたいと考えているので...
-
白紙の次ページを削除できない...
-
個人hp 外部ページへのリンク...
-
htaccessでのアクセス拒否が効...
おすすめ情報
Allow を明示的に使っているサイトの一例です。
https://charts.livegap.com/robots.txt
User-agent: *
Allow: /
Sitemap: https://charts.livegap.com/sitemap.xml
1.無料で使えるサイト
2.会員登録をしないと使えないサイト(別の言い方をするとログインしないと使えないサイト)
3.robots.txtが”allow”のサイト(注)
の条件をすべて満たすサイトを探すのが難しい場合は、1.と3.を満たすサイトでも構いません。
よろしくお願いします。
下記のように robots.txt が存在しないサイトも含まれるということでしょうか。
ーー>回答はYESです。
たぶんですが、「ログインしないと表示できないページにおいて Disallow が指定されていない場合にどのようにインデックスされるか?」ということが質問の本質ではないかと思うのですが、
ーー>これは誤解です。