サーチエンジンのロボット検索回避

サーチエンジン（CGIのリンク集）を開設しています。
事情あって、内容等をYahoo!やGoogleなどの自動ロボット検索に探し当てて欲しくありません。
ホームページの作成の際には<meta name="robots" content="noindex,nofollow">タグの挿入をしましたが、CGIの場合の回避方法があったらご教授下さい。

一応、CGIセットの中のHTMLファイル内には全て挿入してありますが、それでロボットアクセス回避は可能でしょうか。

No.1 回答者： pipipi523 回答日時： 2006/09/11 18:02

robot.txtを置くのが一般的だと思いますがどうでしょう？

http://www.tohoho-web.com/wwwxx079.htm

この回答へのお礼

ありがとうございます。
robots.txtに関しては
http://www.juraihelm.com/NNR/
こちらのサイトを見て、『ほとんどの一般ユーザーには設置することが出来ない』とあったので、試さずにいました。
一度、試してみようと思います。

お礼日時：2006/09/11 19:57

No.2 回答者： yui0909 回答日時： 2006/09/11 18:04

ロボット回避でしたら、

METAタグよりも、
robots.txt の方がいいとおもいますよ＾＾

この回答へのお礼

ありがとうございます。
robots.txtに関しては
http://www.juraihelm.com/NNR/
こちらのサイトを見て、『ほとんどの一般ユーザーには設置することが出来ない』とあったので、試さずにいました。
一度、試してみようと思います。

お礼日時：2006/09/11 19:58

No.3 ベストアンサー 回答者： pipipi523 回答日時： 2006/09/11 18:15

追加で・・

cgiでしたら環境変数のHTTP_USER_AGENTをみて専用ページを表示するようにするのもいいかも知れません

他にも色々方法があるようです
http://www.math.tohoku.ac.jp/~kuroki/keijiban/Ro …

この回答へのお礼

>追加で・・
>cgiでしたら環境変数のHTTP_USER_AGENTをみて
>専用ページを表示するようにするのもいいかも知れません

上記の方法は知りませんでした。URLも大変参考になりそうです。しっかり読んでみたいと思います。

お礼日時：2006/09/11 19:59