検索エンジンのキーワード順位チェックソフトの開発

下記のサイトのような検索エンジンのキーワードチェックソフトを
作りたいと思っています。参考になるようなサイトや書籍はありませんでしょうか。
サンプルソースコードが確認できるところだとうれしいです。
http://broadentry.com/rankingchecker/

なお、私のソフト開発能力ですが、
Perl、C、C++、Basicなどの知識と、TCP/IPなどネットワークに関する知識も有しておりますが、ネットワークプログラムの開発経験はありません。
このプログラムを契機に学びたいと考えていました。

なんとなくは、GoogleやYahooなどが公開しているAPIを使用して云々とうイメージはあるのですが、具体的にどのようなAPIをどのように呼び出すのかなどがわかりません。
少し抽象的なご質問になってしまいますが、「下記のサイトにサンプルコードがあるよ」的なご回答でもかまいませんので、よろしくお願い致します。

No.2 ベストアンサー 回答者： danmarino 回答日時： 2007/08/21 22:59

実は同じようなことを考え、perlで開発したことがあります（今年の始めの開発だからまだ使えると思いますが…）。

それぞれの検索エンジンにコマンドを投げ、検索結果のページを「LWP::UserAgent」を使って取得します。そのページのHTMLを分析し、該当するURLが何位になるかを算出します。

泥臭いやり方ですし、ループを多用するのでサーバーに負担がかかるので、頻繁に使用されるのであればあまりおすすめしないやり方です。

この回答へのお礼

ご回答ありがとうございます。

実際にキーワードに対するページを取得し、得られたページを
構文解析して該当のURLの順位を確認する方法ですね。
しかし、この方法だと、例えばgoogleで500位まで入っているかどうかを
確認したいときに、ものすごく時間がかかるような気もします。
例で上げさせていただいた下記のチェッカーでは、500位までの
キーワード順位を複数サーチエンジンに対して調べることが出来るのです、
いったいどうやっているのでしょうか・・・。
http://broadentry.com/rankingchecker/

お礼日時：2007/08/22 22:59

No.3 回答者： danmarino 回答日時： 2007/08/23 01:12

No.2です。

ご指摘の通り500位まで調べるとなると時間がかかります。
但し、検索オプションを指定すれば一気に100件ずつ取得できるので少し速くすることができます。
http://www.google.co.jp/advanced_search?hl=ja

いずれにしてもこの方法には欠点があることはわかった上でのご返答ですので参考程度にお考えいただければ幸いです。

この回答へのお礼

遅くなりましてすみません。
ご回答ありがとうございました。
参考にさせていただきます。

お礼日時：2007/09/08 22:29

No.1 回答者： shirayukix 回答日時： 2007/08/21 14:13

どのAPIを使うにしてもHTTPリクエストを送ることになります。

PerlのLWPモジュールが便利です。
Perlに標準で入っていますのでサンプルはたくさんあるでしょう。
リクエストを送るだけなら数行で書けます。

参考URL：http://www.google.co.jp/search?q=perl+lwp

この回答へのお礼

早速のご回答ありがとうございます。

LWPモジュールについては少々理解しておりましたが、
これを用いて、どのように呼び出すのかが不明でした。

例えば、下記のURLにおいて、GoogleやYahooにおいて、
キーワードの検索順位を知るには、どのような呼び出し方を行えば
良いのでしょうか。

URL「http://www.abc.com/」
キーワード「検索」

お礼日時：2007/08/21 22:31