No.2ベストアンサー
- 回答日時:
メタタグでの拒否の場合、拒否できるのはそのメタタグを書いたファイルのみです。
書いていないものはクロールの対象になります。
ただし、メタタグの場合もrobots.txtの場合もその記述を無視する悪どいロボットもいますので、こういうロボットの場合はサーバーの設定レベルで締め出すしかありません。
以前はサーバーの設定で締め出していたんですが、みずから登録してもナカナカ登録されないって聞いたんで神経質になる必要はないと思い、メタレベルに変えたんですが、アーカイブだけはやはり嫌ですね。
子供のときの写真を見られているみたいで。
No.3
- 回答日時:
> 例えば、掲示板で以下のようにあった場合、
> http://~/bbs.cgi?mode=view&page=123
上記のURLをどこかに掲載(HTMLに記載)してしまうと、それをもとに検索エンジンに登録されます。
検索エンジンのキャッシュデータに一度登録されると全ての検索エンジンへ削除依頼を行うことは大変です。
登録されて困る内容がある場合は、yahoo、google等のメタタグ、robots.txtの記載方法を参考にあらかじめ対応しておいたほうがいいでしょう。
参考URL:http://help.yahoo.co.jp/help/jp/ysearch/indexing …
「あらかじめ対応」、そうですね。
あとで赤っ恥かきたくないですもんね。
大企業のHPアーカイブ見たら、
「テストページです」なんて表示されたら
しゃれになりませんし。ありがとうございました。
No.1
- 回答日時:
単純に「ぜんぜんされない」「される」のどちらかということであれば、答えは「される」ということになります。
が、CGIのように動的に作成されるページは全てがクロールされるわけではありません。
例えば、掲示板で以下のようにあった場合、
http://~/bbs.cgi?mode=view&page=123
パラメータである123の部分が変われば表示される投稿も変わります。
が、検索ロボットから見れば、投稿のひとつひとつをクロールしていてはキリがありません。
よって、全てが登録されることはまずないです。
登録されるのを拒否するには、一般的なHTMLページでの方法と同じです。
robots.txtを使ったり・・・
サーバーの設定で弾いたり・・・
HTMLのヘッダタグの領域内に拒否するメタタグを書いたり・・・
この回答への補足
>パラメータである123の部分が変われば表示される投稿も変わります。
なるほど、パラメータまではむりそうですね。「/」が登録の基準なんですね。
>HTMLのヘッダタグの領域内に拒否するメタタグを書いたり・・・
メタタグで拒否分かいたindex.htmlより下の階層(スラッシュ後)にメタタグで拒否分かかないindex.htmlを配置した場合、下の階層はクロールされるものなんでしょうか?
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・14歳の自分に衝撃の事実を告げてください
- ・架空の映画のネタバレレビュー
- ・「お昼の放送」の思い出
- ・昨日見た夢を教えて下さい
- ・ちょっと先の未来クイズ第4問
- ・【大喜利】【投稿~10/21(月)】買ったばかりの自転車を分解してひと言
- ・メモのコツを教えてください!
- ・CDの保有枚数を教えてください
- ・ホテルを選ぶとき、これだけは譲れない条件TOP3は?
- ・家・車以外で、人生で一番奮発した買い物
- ・人生最悪の忘れ物
- ・【コナン30周年】嘘でしょ!?と思った○○周年を教えて【ハルヒ20周年】
- ・ハマっている「お菓子」を教えて!
- ・最近、いつ泣きましたか?
- ・夏が終わったと感じる瞬間って、どんな時?
- ・10秒目をつむったら…
- ・人生のプチ美学を教えてください!!
- ・あなたの習慣について教えてください!!
- ・牛、豚、鶏、どれか一つ食べられなくなるとしたら?
- ・都道府県穴埋めゲーム
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
バタフライ(水泳)の日本語名...
-
橋本環奈ってこれ見る限り鼻は...
-
力を抜くと浮くって本当
-
口から液体を霧の様に噴く方法
-
平泳ぎ 25m ストロークの回数
-
なんでアメリカのアニメの女性...
-
耳に水が入らないようにする方法
-
CHAPPIEの正体
-
水泳で50メートルをノーブレ(息...
-
あやせはるかさんって、顎しゃ...
-
『吼えろペン』に出てくる漫画...
-
トナカイの鼻が光る理由
-
クロールの軸ぶれを治したいで...
-
バタフライ第2キック
-
プルブイを付けたままターンの...
-
女子同士がおでこ合わせたり顔...
-
水槽の中のシンクロナイズドス...
-
西川のりおの『ラッタッタ』
-
【水泳】 今度、体育の授業で15...
-
one ok rockの整形について
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
バタフライ(水泳)の日本語名...
-
自己流で水泳をしています
-
ランニングを水泳で補うには何...
-
◆「したらば掲示板」の「掲示板...
-
自由形とクロールの違いについて
-
googleからキャッシュが消えま...
-
水泳でシェイプアップしたい。...
-
CGIで出力されたホームページの...
-
グーグル検索について
-
二軸クロールの方法を教えてく...
-
最速の泳法とは?
-
クロールのブレスについて(右...
-
じゃらんのCM
-
クロールの1軸と2軸
-
橋本環奈ってこれ見る限り鼻は...
-
平泳ぎ 25m ストロークの回数
-
何の商品のCMでしょうか?
-
ジュニアアイドルの名前を教え...
-
口から液体を霧の様に噴く方法
-
水泳で50メートルをノーブレ(息...
おすすめ情報