ヤフーなどでは自分で申請、登録してもらいますが、
ロボットが定期的にやってきて、サイトを拾ってゆく(という表現が
いいのかは分かりませんが)タイプの検索エンジンってありますよね。
このロボットに拾われない=検索してもHITしない ようにするには、
何らかのタグを入れておくなどの手段があるのでしょうか。

ご存知の方、アドバイスください。
よろしくお願いいたします。

このQ&Aに関連する最新のQ&A

A 回答 (1件)

過去の質問にロボット検索を回避できるかもしれない方法が載っています。



参考URL:http://oshiete1.goo.ne.jp/kotaeru.php3?q=115210
    • good
    • 0

お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!

このQ&Aと関連する良く見られている質問

Q検索ロボットが拾ってゆく形式は?

検索サイトのロボットが定期的に巡回して、サイトを拾って(という表現があっているかは分かりませんが…)ゆく、と聞きますが、そういったロボットが収集してゆくのはhtml/htm形式のものだけなのでしょうか。
例えば、サイト内に「申込書はこちらからダウンロードしてください」等で、エクセルの表にリンクしている場合がありますよね。このエクセルの表なども巡回のロボットに収集されるのですか。
ご存知の方教えてください。よろしくお願いします。

Aベストアンサー

検索ロボットは、リンクをたどってページを拾ってゆきます。そのサイトの全ての
ファイルが見えているわけではありません。

検索ロボットは、検索のためにファイルを拾ってゆくわけですから、その内容が
理解できないファイルは、リンクが張ってあっても読み飛ばします。

ですから、エクセルの表が理解できるロボットがあれば、それも収集の対象にする
のですが、まだ、そういうロボットを私は知りませんが、技術的には可能です。

No.1 の方が書かれているとおり、Google では PDF ファイルも検索の対象に
なっていますが、それは、Google の検索ロボットが PDF のファイルの内容も
理解できるようになっているからです。

また、CGI のように動的なページも検索対象として引っかかるケースがあります。
先に書いたように、ロボットはリンクをたどります。なので、CGI の出力を
リンク先として記載しているページがあれば、ロボットはそれを対象にします。
その CGI の出力は html なので、ロボットは理解可能ですから。

試しに、"oshiete1 a-kuma" をキーに検索をしてみました(→参考URL)。
PHP の動的な出力のページでも引っかかりますよね。

参考URL:http://www.google.com/search?num=100&hl=ja&q=oshiete1+a-kuma&lr=

検索ロボットは、リンクをたどってページを拾ってゆきます。そのサイトの全ての
ファイルが見えているわけではありません。

検索ロボットは、検索のためにファイルを拾ってゆくわけですから、その内容が
理解できないファイルは、リンクが張ってあっても読み飛ばします。

ですから、エクセルの表が理解できるロボットがあれば、それも収集の対象にする
のですが、まだ、そういうロボットを私は知りませんが、技術的には可能です。

No.1 の方が書かれているとおり、Google では PDF ファイルも検索の対...続きを読む

Q検索ロボットはページのどこを拾っているか

検索ロボットによる全文検索型サーチエンジンって、Webページのどこを拾って、タイトルにしたり、サイト説明にしたり、キーワードにしたりしてるのでしょう?
一説によると、titleタグをみてるとか、METAタグをみてるとか、いや~全文っていうくらいだから全文だよとか、コメントやAltはみてないよ、とか。
もちろんサーチエンジンによってそれぞれ方式が違うのでしょうが、そこらへん体系的に
例えば

yahooの場合はタイトルはここ、説明はここ、キーワードはここ(Yahooはロボットじゃないから違うか)
gooの場合はタイトルはここ、説明はここ、キーワードはここ
infoseekの場合はタイトルはここ、説明はここ、キーワードはここ
gogleの場合はタイトルはここ、説明はここ、キーワードはここ
みたいな比較表みたいなのはないでしょうか。

ある知り合いが、ホームページを一生懸命、検索エンジンに登録して廻ったけどちっとも拾ってくれなくて、DOKODAだったかな、・・・に登録したら、DOKODAに出るようになって、同時にMNSで検索できるようになったんだけど、なんか関係があるなかなぁ・・・それとも偶然かなぁ~といってました。しかもWebページにも登録時にも入れてない文書が説明書きに入っていてよくわからん、と嘆いていました。

やっぱり明確なところは企業秘密なんかな~

検索ロボットによる全文検索型サーチエンジンって、Webページのどこを拾って、タイトルにしたり、サイト説明にしたり、キーワードにしたりしてるのでしょう?
一説によると、titleタグをみてるとか、METAタグをみてるとか、いや~全文っていうくらいだから全文だよとか、コメントやAltはみてないよ、とか。
もちろんサーチエンジンによってそれぞれ方式が違うのでしょうが、そこらへん体系的に
例えば

yahooの場合はタイトルはここ、説明はここ、キーワードはここ(Yahooはロボットじゃないから違うか)
...続きを読む

Aベストアンサー

タイトルはtitleタグでしょ?

その他詳しくは下記で。
http://ippatsu.net/TARO/

参考URL:http://ippatsu.net/TARO/

Qロボット型検索エンジンについて詳しく知りたいです。また、ロボット型でアクセス数を増やす為にはどうすればいいのでしょうか?

自分のサイトをロボット型検索エンジンに登録したりしているのですが、いまいち詳しくわかりません。また、ロボット型で、アクセス数を増やすにはどうすればいいのでしょうか?教えて下さい。

Aベストアンサー

以下の本に、検索エンジンの特性を利用したヒットするHPの作り方が記述されています。

「検索にガンガンヒットするホームページの作り方」 翔泳社 1600円

インターネットで調べるなら「SEO」というキーワードで検索してみてください。

QGoogleなどのロボット型検索エンジンではスクリプトがあるページは飛ばされると聞いたのですが、スクリプトとはなんでしょか?

市販のホームページソフトでホームページをつくったのですが、Googleの検索エンジンではトップページしかデータに反映されていません。もしかしたら、スクリプトが関係しているのでしょうか?

Aベストアンサー

スクリプトがあるページとは、JavaScriptやVBScriptあるいはCGIの呼び出しによって「次の文書」が読み出される構造のページです。関係あるかもしれません。

Qロボット型検索エンジンの検索方法

ロボット型検索エンジンは、一体どういう仕組みで検索されているのでしょうか?
サイトによっては、METAタグを拾っているようですけど、
私はMETAタグは一切入れていません。
それでもアクセス解析を見るとGoogleやYahoo、Infoseekなどなどの検索サイトから
とんできている人が結構います。
(各サイトに登録もしていません)
また、私は全ページをPHPで作成をし、
MySQLからデータを取って表示するという動的ページにしています。
私の認識では、動的ページは、検索エンジンに引っかからなかったと思うのですけど、
どうやら、ログを見ると、動的ページすら引っかかっているようなのですけど…。
(さすがに引数が必要なページでは引数は拾ってませんが)
単なる素朴な疑問ですので、
詳しい方、お時間のある時にでも教えてください。
又は、詳しいサイトがあったらURLを教えてください。

Aベストアンサー

詳しいわけではありませんが、METAタグは今主流のロボット検索ではあまり重要ではないと思います。
>アクセス解析を見るとGoogleやYahoo、Infoseekなどなどの検索サイトからとんできている人
まず、Yahooは人手による登録ですから、ロボットはありません。
そのロボット検索システムはGoogleのシステムが代行しているのか、その基本手法を借りている
のだと思います。

Infoseekはロボットを主に人手で加工しているらしいですが、詳しくはありません。

ロボット検索と簡単に言われる事が多いですが、そのアルゴリズムや手法はノウハウの塊だと思います。
ただ基本として全文検索して、登録されている多数の単語で分類されて・・・そこから先は?
またロボットが毎日必ず、世界中の端から端まで全部を巡回しているとは思えません。

参考にGoogleを使用して、キーワード:ロボット 検索の仕組み で出てくる中で、最初の10件の中に
個人ページのようですからURLは書きませんが、アクセス数を上げるための方法を書かれている
サイトがありますので、それが参考になります。

htmlデータでなく、すべてが画像データで貼れば、アクセス件数は落とせますし、また他サイトとリンク
しない事なども大切?です。

詳しいわけではありませんが、METAタグは今主流のロボット検索ではあまり重要ではないと思います。
>アクセス解析を見るとGoogleやYahoo、Infoseekなどなどの検索サイトからとんできている人
まず、Yahooは人手による登録ですから、ロボットはありません。
そのロボット検索システムはGoogleのシステムが代行しているのか、その基本手法を借りている
のだと思います。

Infoseekはロボットを主に人手で加工しているらしいですが、詳しくはありません。

ロボット検索と簡単に言われる事が多いですが...続きを読む


このカテゴリの人気Q&Aランキング

おすすめ情報