CGIで出力されたホームページの情報は検索サイトに登録される？

CGIで出力されたホームページの情報は、
Googleのような検索サイトに登録されてしまうのでしょうか？

No.2 ベストアンサー 回答者： Ethersky 回答日時： 2005/03/07 09:01

メタタグでの拒否の場合、拒否できるのはそのメタタグを書いたファイルのみです。

書いていないものはクロールの対象になります。

ただし、メタタグの場合もrobots.txtの場合もその記述を無視する悪どいロボットもいますので、こういうロボットの場合はサーバーの設定レベルで締め出すしかありません。

この回答へのお礼

以前はサーバーの設定で締め出していたんですが、みずから登録してもナカナカ登録されないって聞いたんで神経質になる必要はないと思い、メタレベルに変えたんですが、アーカイブだけはやはり嫌ですね。
子供のときの写真を見られているみたいで。

お礼日時：2005/03/07 16:59

No.3 回答者： kfgoody 回答日時： 2005/03/07 10:42

> 例えば、掲示板で以下のようにあった場合、

> http://～/bbs.cgi?mode=view&page=123

上記のURLをどこかに掲載(HTMLに記載)してしまうと、それをもとに検索エンジンに登録されます。

検索エンジンのキャッシュデータに一度登録されると全ての検索エンジンへ削除依頼を行うことは大変です。
登録されて困る内容がある場合は、yahoo、google等のメタタグ、robots.txtの記載方法を参考にあらかじめ対応しておいたほうがいいでしょう。

参考URL：http://help.yahoo.co.jp/help/jp/ysearch/indexing …

この回答へのお礼

「あらかじめ対応」、そうですね。
あとで赤っ恥かきたくないですもんね。

大企業のHPアーカイブ見たら、
「テストページです」なんて表示されたら
しゃれになりませんし。ありがとうございました。

お礼日時：2005/03/07 16:57

No.1 回答者： Ethersky 回答日時： 2005/03/06 15:58

単純に「ぜんぜんされない」「される」のどちらかということであれば、答えは「される」ということになります。

が、CGIのように動的に作成されるページは全てがクロールされるわけではありません。

例えば、掲示板で以下のようにあった場合、
http://～/bbs.cgi?mode=view&page=123
パラメータである123の部分が変われば表示される投稿も変わります。
が、検索ロボットから見れば、投稿のひとつひとつをクロールしていてはキリがありません。
よって、全てが登録されることはまずないです。

登録されるのを拒否するには、一般的なHTMLページでの方法と同じです。
robots.txtを使ったり・・・
サーバーの設定で弾いたり・・・
HTMLのヘッダタグの領域内に拒否するメタタグを書いたり・・・

この回答への補足

＞パラメータである123の部分が変われば表示される投稿も変わります。

なるほど、パラメータまではむりそうですね。「/」が登録の基準なんですね。

＞HTMLのヘッダタグの領域内に拒否するメタタグを書いたり・・・

メタタグで拒否分かいたindex.htmlより下の階層（スラッシュ後）にメタタグで拒否分かかないindex.htmlを配置した場合、下の階層はクロールされるものなんでしょうか？

補足日時：2005/03/07 00:58