ヤフーやグーグルなどの検索エンジンに検索されないようにする技ってありますか？

Question

お世話になります。

ヤフーやグーグルなどの検索エンジンで検索をしたときにいろいろなHPがヒットします。
HPを作っている人たちは少しでも自分の作ったページが検索してもらえるようにいろいろな工夫をしていると聞きました。
しかし、世の中には人に見られたくないHPというのも存在すると思います。
（出来が稚拙ではずかしい、とか仲間内だけで楽しみたい、とか）
そこで質問です。

1
限られた人だけにIDとパスワードを与えて、それが一致しない限りその先に進めないようなHPというのがよくありますが、この場合、ID,パスワードを入力した先のHPの内容というのはロボット型検索エンジンでは絶対に検索結果に出てこないでしょうか？
　もし出てこないならばその技術的理由を教えてください。

２
「自分の作ったページが絶対に検索エンジンに引っかからないようにする」
「外部の人間にはURLを絶対に漏らさず、ブラウザのアドレス欄にURLを直接タイプしない限り、絶対にアクセスできないようなHPを作る。」
というテクニックは可能なのでしょうか？
　もし、１の
”ID,パスワードによる利用者制限”をしなくても
”検索エンジンに検出されない方法がある”場合、その技術的理由を簡単に教えてください。

よろしくおねがいします。

notnot · Accepted Answer

1.ID、パスワードを知らない限り見えないのであれば、検索エンジンのクローラー(データ収集プログラム)は、ID・パスワードを知らないのでアクセスできません。

2.「自分の作ったページが絶対に検索エンジンに引っかからないようにする」
http://www.example.com/robot.txt でアクセスできる場所に、ファイルを置いて、中身に
User-Agent: *
disallow: /
と書いておくと、クローラーはそのサイトをアクセスしません。もちろん個人が勝手に作った検索サイトのクローラーはどうするか保証の限りではありませんが、Google, Yahoo, MSN, その他、メジャーな所は大丈夫です。ただし、サイトのトップに置かないといけないので、レンタルサーバーの場合は独自ドメインを使わないと駄目ですね。

2.「外部の人間にはURLを絶対に漏らさず、ブラウザのアドレス欄にURLを直接タイプしない限り、絶対にアクセスできないようなHPを作る。」
外部の人間がURLを全く知らないし、他のどのページにもリンクがないのであれば、クローラーも含め外部の誰もアクセスできません。
クローラーは、
・サイトに登録されたページ
・そこからリンクがたどれるページ
しかアクセスしません。

なお、その秘密ページの中に、外部のページへのリンク(Aタグ,IMGタグ)があるとその外部ページのサーバーログから秘密ページのURLがばれる可能性がありますので、外部へのリンクは書いちゃ駄目です。

y-k9654 · Answer

まずヒットしてほしくないエンジンのサイトの…についてのようなリンクがトップページにあります。
そこにサイト掲載・不掲載があるはずですからそこに自分のアドレスを入れたら数日後にロボットが回らないし、サーバーから消えると思います。

harepanda · Answer

大量の迷惑メールをまきちらしている高級腕時計サイトのKing Replicas (Diamond Replicas, Prestige Replicasと同じもの)や、Canadian Health Careが過去使っていたドメイン名を探し出して使えば良いと思います。

ルイヴィトングループがGoogleに、「検索をかけたら、自分達のサイトが出ず、違法コピー商品のサイトばかりが出るじゃないか、ゴルア」という批判をしたことがきっかけで、Googleが検索エンジンを改良することで対応し、レプリカサイトはほとんどGoogleに引っかからなくなりました。これをうけ、新しい状況で違法コピー品を売るために、ころころとドメイン名を使い捨てにし、迷惑メールをまきちらすという方法をとる悪人が増えたわけです。もし、彼らが持っていた多数のドメイン名のうち、契約が切れていて自分のアドレスに出来そうなものがあれば、それを使ってウェブサイトを作れば、絶対にGoogleにはかかりません。

ただし、これを実現するには、数ヶ月に渡って迷惑メールをずっと読み続けなくてはならないでしょう。

ヤフーやグーグルなどの検索エンジンに検索されないようにする技ってありますか？

まずヒットしてほしくないエンジンのサイトの…についてのようなリンクがトップページにあります。

1.ID、パスワードを知らない限り見えないのであれば、検索エンジンのクローラー(データ収集プログラム)は、ID・パスワードを知らないのでアクセスできません。

大量の迷惑メールをまきちらしている高級腕時計サイトのKing Replicas (Diamond Replicas, Prestige Replicasと同じもの)や、Canadian Health Careが過去使っていたドメイン名を探し出して使えば良いと思います。

似たような質問が見つかりました

関連するカテゴリからQ&Aを探す

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング