忙しい現代人の腰&肩のお悩み対策!

お願いします。

最近、ヤフーの検索エンジンのシステムが変更に
なったときき、自分のさいとのキーワードで検索を
したら、CGIで作成されたページがヒットする
ようになっていました。グーグルで検索すると
そのページは出てきません。

自分のサイトはCGIで作成されたページとそうで
ないページがあります。CGIで作ったページ
(掲示板など)は検索エンジンで検索されたくない
のですが、どうすればよいでしょうか?

<META NAME="ROBOTS" CONTENT="NOARCHIVE">などと
いれれば、いいときいたのですがこれをいれると、
入れたページだけが検索されなくなるのでしょうか?
それとも、サイト全体が検索システムから削除されて
しまうのでしょうか?

index.html-page1
     ├page2
     ├page3
     ├page4(CGI)-page5(CGI)
             ├page6(CGI)

自分のサイトはこんな構成になっています。CGIで
作成されたページだけ検索エンジンで拾われないよう
にしたいです。

わかるかた教えてください。

このQ&Aに関連する最新のQ&A

A 回答 (4件)

サイト全体ではなく、ページだけの制御です。



<META NAME="ROBOT" CONTENT="NOARCHIVE">

これはキャッシュページのみを削除するものであり、Google の場合は引き続きページのインデクス付けを行い概要表示はします。ということなので、これだけでは不十分ではないでしょうか。

<META NAME="ROBOT" CONTENT="noindex">

検索データベースへの登録を禁止します。
ですので結局、

<META NAME="ROBOT" CONTENT="noindex,noarchive">
にしておけばいいのではないでしょうか。


◎ 別の方法として robots.txt を使う方法もあります。サイトのトップディレクトリに検索ロボットに検索されたくないディレクトリを記述しておきます。

User-agent: Googlebot
Disallow: /secretdir/
Disallow: /cgi-bin/

こうすると指定ディレクトリ全体を検索しなくなりますので掲示板の吐き出す HTML だけをここに入れるよう CGI 変更すればいいのではないでしょうか?

robots.txt を使うと見られたくないディレクトリはここですよと他人に公言していることになる(^^;ので、そこには index.html を置かない方がいいかも知れません。たとえば http://*****.com/secret/
とした場合にそこにあるデフォルトのページ(通常は index.html)が参照されてしまうからです。

ただディレクトリ参照が許可されている設定のサーバだとファイルが一覧で出てしまうのでその場合は中身の無意味なダミーの index.html を置いておけばいいでしょう。

>最近、ヤフーの検索エンジンのシステムが変更になったときき、

そうなんですか?ちょっとこれは知りません…。
    • good
    • 0
この回答へのお礼

ありがとうございました。

お礼日時:2004/06/20 06:59

No.1ですが、間違ってました。



1)除外したいパスをDisallowに指定したrobots.txtを記述する。
2)robots.txtは/(DocumentRoot直下)に配置する。

――ってのが、正しい使い方でした。

参考URL:http://www.robotstxt.org/wc/norobots.html
    • good
    • 0
この回答へのお礼

ありがとうございました。

お礼日時:2004/06/20 06:59

<meta name="robots" content="****">



この、****の部分に何を入れるかで変わります

index ・・・ このページの掲載を許可
follow ・・・ このページからリンクされているページの掲載も許可
noindex ・・・ このページの掲載を認めない
nofollow ・・・ このページからのリンク先の掲載を認めない

このページだけ認めない。これ以下のページも認めないならば
noindex nofollowで良いと想いますよ。
    • good
    • 0
この回答へのお礼

ありがとうございました。

お礼日時:2004/06/20 06:58

フォルダpage4直下にrobots.txtを配置しておくのが、一般的な方法です。


無視するクローラもありますが。

参考URL:http://help.yahoo.co.jp/help/jp/ysearch/slurp/sl …
    • good
    • 0
この回答へのお礼

ありがとうございました。

お礼日時:2004/06/20 06:58

このQ&Aに関連する人気のQ&A

お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!


人気Q&Aランキング