ロボット巡回対策のMetaタグに関する次のサイトについて質問です。
http://heo.jp/tag/page/key.html
■ ロボット巡回対策 <Meta Name="ROBOTS" Content="">
<Meta Name="ROBOTS" Content="INDEX,FOLLOW">
INDEX,FOLLOW・・・・このページもページからのリンク先も許可。
<Meta Name="ROBOTS" Content="INDEX">
INDEX・・・・このページのみ巡回許可。
<Meta Name="ROBOTS" Content="NONE">
NONE・・・・このページもそこにあるリンク先全てを巡回禁止。
<Meta Name="ROBOTS" Content="NOINDEX">
NOINDEX・・・・このページのみ巡回禁止。
<Meta Name="ROBOTS" Content="NOFOLLOW">
NOFOLLOW・・・・このページは巡回許可、リンク先巡回禁止。
<Meta Name="ROBOTS" Content="ALL">
ALL・・・・下の階層の巡回を許可。
------------------------------
★★質問★★
自分のサイト内を全て巡回禁止にしようと思います。最も簡単な方法を取りたいのですが、上の説明から類推すると、
<Meta Name="ROBOTS" Content="NONE">
NONE・・・・このページもそこにあるリンク先全てを巡回禁止。
これでよさそうですが、ここで言う「リンク先全て」とは、「下の階層全て」と考えていいのでしょうか。それとも文字通り他のサイトであろうとなかろうとリンク先全てということでしょうか。
それとも別に適切な記述がありますか。
★★希望
そのサイト内のページをホームページ「...index.html」に巡回禁止の記述をすれば完璧にすべて巡回禁止になるようにしたいのです。
よろしくお願いします。
No.1ベストアンサー
- 回答日時:
考え方としてはindex.htmlにNONEでOKですが、外部リンクなどでやってきたロボットに関しては最初にindex.htmlを読むとは限らないので
robots.txtも用意して拒否した方が良いですね
ただ、グーグルやヤフー等の大手の検索エンジンは比較的行儀良くルールを守ってくれますが、その他の検索エンジンはMETAタグやrobots.txtを読まなかったりする可能性もあります
念のために.htaccess等でブラウザ以外(エージェントにbotを含む物等)を蹴る等の設定をしないと安心はできません
No.2
- 回答日時:
こんにちわ。
指定ページもリンクをたどるのもダメ!の指定
<META name="robots"content="noindex,nofollow">
になると思いますが・・・?
http://www.robotstxt.org/meta.html
また、全ての検索エンジンのクローラーの訪問を拒否するには
User-agent: *
Disallow: /
で、いいのではないかと・・・・?
http://www.robotstxt.org/robotstxt.html
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- その他(開発・運用・管理) Beutiful Soupを用いてWebスクレイピングを行おうと考えているのですが、 <meta n 1 2022/06/01 20:18
- PHP PHPでCookieを使った訪問回数について 1 2023/05/28 14:10
- PHP PHPでユーザー情報を入力して簡易ログイン機能をつくってみたのですが 1 2023/05/29 08:51
- HTML・CSS <!DOCTYPE html> <html> <head> <meta charset="utf-8 2 2023/01/05 01:04
- HTML・CSS cssが効かなくて困ってます 1 2023/01/01 23:57
- PHP PHPのエラーの解消法について教えて下さい。 1 2023/02/06 10:48
- HTML・CSS CSS のみのタブ切り替えについて 1 2023/01/11 16:47
- PHP 入力した部分を表示させたまま(保持)するにはどうすれば良いでしょうか? 1 2023/01/25 11:14
- HTML・CSS 書籍を見つつサイト造りの練習をしているのですが、見た目が一致しません 2 2022/11/28 15:00
- HTML・CSS html/cssで要素が出てこなくて困ってます 1 2022/12/31 16:59
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
embedタグでFirefox右クリック禁止
-
個人HPにログイン機能付けられる?
-
HTML 特殊文字の タブ:	...
-
HTML用語わからず
-
損害保険募集人 資格について
-
API、OCX、DLLって何でしょう?
-
C言語のHP-UXからLinuxへのポ...
-
機械工学専攻の院卒でSEになる...
-
全豊田作業責任者
-
6~7割の正解で、なぜ合格?
-
C言語でSMTPを使ったプログ...
-
現在プログラミングの研修中な...
-
UNIX環境でのCプログラム上でC...
-
C/C++でチャットソフトを作りた...
-
独学で色彩検定 いきなり1級は...
-
今職業訓練のパソコン教室行っ...
-
【プログラム】自身への課題【...
-
と、あるサイトにHPが登録さ...
-
Perl5とActivePerl
-
二回も基本情報処理の試験に落...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
HTML 特殊文字の タブ:	...
-
12月のカレンダーを表すHTMLを...
-
Affinger6でトップページに記事...
-
cssでclass名に大文字、アンダ...
-
個人HPにログイン機能付けられる?
-
htmlで検索を回避するには?
-
textarea 内に IFRAME を読み込...
-
【HP作成】クリック音が鳴るよ...
-
HTMLのタグは閉じなくてもいい...
-
theadはあまり使わないものです...
-
VBで簡単なゲームをつくるサイト
-
iframe の代用で objectタグを...
-
携帯のサイトに、パスワードで...
-
文字が消える?
-
embedタグでFirefox右クリック禁止
-
wordファイルをhtml形式で保存
-
DWでのCSSの使い方について。
-
googlemapへのリンクを作りたい
-
携帯用HTMLで文字の背景色を指...
-
インラインフレームを使用した...
おすすめ情報