robots.txtの置き場所について

ウェブマスターツールを使い始めた初心者です。
私のウェブサイトはプロバイダがサービスでくれたもので、URLが
www.プロバイダのサーバ.ne.jp/~ユーザーのID
となっています。
robots.txtを置きたいのですが、
ウェブマスターツールで私がrobots.txtを置くURLは、
http://www.プロバイダのサーバ.ne.jp/robots.txt
となっています。。
私のユーザーのIDのついてないURLにはアップロードできないと思うのですが・・・
どうしたらいいのでしょうか？
FFFTPでpublic_htmlの下にアップロードしたところ、やっぱり認識されずずっと404(見つかりませんでした)と言われてます。。。

No.2 ベストアンサー 回答者： dscripty 回答日時： 2011/06/19 00:25

robots.txt は、ドメインごとのサイト設定のためのファイルだから、

http://www.プロバイダのサーバ.ne.jp/robots.txt
じゃないと意味がないよ。

つまり、できないということ。

検索エンジンの動きを制御する方法とツール
http://web-tan.forum.impressrd.jp/e/2009/01/29/4 …
---- 引用はじめ ----
robots.txtファイル（ロボット排除プロトコルの一種）は、 Webサイトのルートディレクトリ（例：サイトが 「www.google.com」ならば「http://www.google.com/ robots.txt」でアクセスできる場所）に保存しておかなけれ ばならない。
---- 引用おわり ----

じゃあ、どうすればいいかだけど、HTTP ヘッダか、html のなかで meta タグを使えばいいよ。

詳しく解説しているページがあるから紹介するね。

ロボット排除プロトコル（REP）と は？――メタタグやrobots.txtの基礎
http://web-tan.forum.impressrd.jp/e/2008/02/27/2 …

この回答へのお礼

メタタグしかないのですね・・・>_<
ありがとうございました。

お礼日時：2011/06/19 05:10

No.3 回答者： naokita 回答日時： 2011/06/19 01:56

置けませんよ。

ルートディレクトリ限定ですから・・・
Googlebotは、サイトを見る前にrobots.txtを見ますから、
サイト最上位の入り口に置かないと意味が無いんです。
例えば、建物の場合、
「立ち入り禁止」の看板は、敷地の入り口付近に誰もが目に付く所にありますよね？

サブディレクトリ型のサイトの入り口は、
プロバイダのサーバ.ne.jp/が入り口で、
ここがルートディレクトリなので、一般ユーザーには権限が無い。

robots.txtで何かの指示をしたいのだと思いますが、
新規質問で、
別の方法を質問した方が良いですよ。
ボット巡回・インデックス拒否など
#2さんの提案通りmetaタグで指定出来る場合が多いですから

この回答へのお礼

勉強不足でディレクトリのことはよく分からないのですが、やっぱりできないことなんですね。

ボット巡回とインデックス拒否をしたいのですが、テキストファイル一個でできるならHTMLのタグが見やすくなっていいかと思ったのですが・・・。
metaタグしかないのですね。

ありがとうございました。

お礼日時：2011/06/19 05:08

No.1 回答者： Mechirun 回答日時： 2011/06/18 16:58

プロバイダのサーバ.ne.jp/~ユーザのID/robots.txt

になります。

ツールでは独自のドメインを取得した時を想定しているので、サーバ直下のディレクトリ(フォルダ)ん書いているだけだと思います。

この回答へのお礼

いちおう置いてみます。もしかして利くことを願い・・・。
ありがとうございました。

お礼日時：2011/06/19 05:12