ロボット検索にヒットされない仕組みについて

Question

はじめまして、こんにちは。
ロボット検索にヒットされない仕組みについて教えてください。
はじめにyahooのようなロボット検索でないものは申請がいるのでよね？とゆ～ことは申請さえしていなけれyahoonの検索にヒットすることはないって考えてよかったのでしょうか？
それとgoogleのようなロボット検索の場合ですが、これは基本的に申請されているページからリンクをたどってgoogleのDBにサイトを登録していくのでしょうか？
もしリンクをたどっていくのなら申請もしてなくて、どこからもリンクされていないページをアップしていた場合はどんなキーワードで検索してもヒットしないのでしょうか？
よろしくお願いします。

777_777 · Accepted Answer

まず、検索にはロボット検索とカテゴリー検索があります。
ロボット検索の代表格は、google。カテゴリー検索の代表格はyahooです。（ただし今は、yahooもロボット検索主体になっています）

で、基本的にカテゴリー検索は登録制ですね。登録してないと検索されません。
逆にロボット検索の場合は、検索ロボットがリンクをたどって巡回していきますので、検索エンジンに登録されているサイトにリンクされていれば、申請しなくてもいつかは検索されるようになります。ロボット検索で用意されている申請フォームは、少しでも早くロボットに巡回してほしいときに利用するという感じです。

ご質問の「申請もなし、リンクもなし」の場合は、検索ロボットがページを見れないので当然検索してもヒットしないということになります。

他の方が書かれているMETAタグやrobots.txtも有効ですが、基本的にはリンクはされているけど検索でヒットさせたくない場合の方法になります。（METAタグやrobots.txtを無視する検索ロボットもいるようなので
完璧な対策ではないようですのでご注意ください）

entree · Answer

ドキュメントルートに書き込む権限があるのであれば、そこに robots.txt ファイルを以下の内容で作成することにより、良心的なロボット (Google を含む) は登録しないようにしてくれます。

========================================
User-Agent: *
Disallow: /
========================================

それがダメな場合は、全ての HTML ファイルの <HEAD> 内に、

<META NAME="robots" content="noindex,nofollow">

を追加することです。Google の場合はキャッシュ機能がありますが、これも制御することができます。

http://www.google.co.jp/intl/ja/remove.html

ちなみに、現在の Yahoo や、以前のロボット検索の主流だった goo なども、最近は Google と提携しているため、全く同一のデータを参照しているものと思われます。現時点で、Google 以外のロボットというと、MSN や AltaVista くらいしか思い当たりません。

あと、以前に NAVER (現在の NHN Japan) が暗黙のルール (robots.txt や META タグを参照すること) を守らないとして悪名高いロボット検索を提供していましたが現在はサービスを停止してしまったようです。

参考 URL には robots.txt に対する記述やロボットの紹介があります。(英語サイトです)

参考URL：http://www.robotstxt.org/wc/active.html

noname#19206 · Answer

＞はじめにyahooのようなロボット検索でないものは申請がいるのでよね？とゆ～ことは申請さえしていなけれyahoonの検索にヒットすることはないって考えてよかったのでしょうか？
登録されたサイトは登録サイトとして表示され、ロボットで収集したサイトはロボットで収集したサイトとして表示される仕組みになっていたはずです。

＞それとgoogleのようなロボット検索の場合ですが、これは基本的に申請されているページからリンクをたどってgoogleのDBにサイトを登録していくのでしょうか？
申請されている、というか既にエンジンが収集しているサイトからリンクを辿って新しいページを検索収集していくみたいです。

＞もしリンクをたどっていくのなら申請もしてなくて、どこからもリンクされていないページをアップしていた場合はどんなキーワードで検索してもヒットしないのでしょうか？
基本的にヒットしませんが、偶然他の方が他所にリンクを貼るなどすればヒットするようになります。
検索されたくない場合はMETAタグやRobots.txtで検索拒否するのが一番です。

noname#38757 · Answer

ヤフーもロボット検索しますよ。
ｇｏｏｇｌｅにしても登録しなくてもヒットします。
そんで、ロボットを避けるためには特別なコードを入力しなくてはなりません。
メタタグと言われているタグなので見た目にはロボットよけのコードを入れられているのか分かりません。
<META NAME="robots" content="noindex,nofollow">
まあ、こういうのを全部のページに差し込めばロボットをよけることは可能です。

参考URL：http://www.interz.jp/acss/meta.htm

ロボット検索にヒットされない仕組みについて

まず、検索にはロボット検索とカテゴリー検索があります。

ドキュメントルートに書き込む権限があるのであれば、そこに robots.txt ファイルを以下の内容で作成することにより、良心的なロボット (Google を含む) は登録しないようにしてくれます。

＞はじめにyahooのようなロボット検索でないものは申請がいるのでよね？とゆ～ことは申請さえしていなけれyahoonの検索にヒットすることはないって考えてよかったのでしょうか？

ヤフーもロボット検索しますよ。

似たような質問が見つかりました

関連するカテゴリからQ&Aを探す

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング