metaタグについて

HTMLでホームページを作成する際、
<meta name="robots" content="index,follow">
というタグをヘッダ部に置いているサイトを良く見ますが、これは、どういった意味でどういう役割をするのでしょうか？
また、代替として「robots.txt」というものがあると聞いたのですが、どういうファイルなのでしょうか？また、metaタグを使用する場合とtxtファイルのそれぞれの長所・短所を併せて教えて下さい。よろしくお願いします。

No.2 ベストアンサー 回答者： dd90 回答日時： 2006/04/25 00:59

<meta name="robots" content="index,follow">

↑これは、サーチロボットに『indexページと、そこからリンクして続いているページ』のURLを拾ってもらう為のものだと思います。
他にも、『<meta name="robots" content="～』以下を変えて、サーチロボットにURLを拾わせるか拾わせないかの選択ができます。ただし、この<meta>タグ事態を読んでくれないサーチロボットもあります。
robots.txtは、そんなサーチロボットに対する命令なんかをまとめて書いて、テキストファイルのままアップロードします。『URLを拾うな』という命令については、完全ではないですが、<meta>よりは効果があると聞きました。ただし、robots.txtはルートディレクトリに置かないといけないので、独自のドメインかサブドメイン以外の環境では使えないと思います。ただ、プロバイダーやサーバによっては、頼んだらrobots.txtを置いてくれるところもあるそうです。DIONは無理でしたが。

No.1 回答者： bavarois 回答日時： 2006/04/20 13:47

<meta name="robots" content="index,follow">はロボットに「ページ内にあるリンク全部を巡回してください」という指令です。

robots.txtについては下記のアドレスを見てください。

参考URL：http://allabout.co.jp/internet/hpcreate/closeup/ …