googleで検索したサイトのURLの機械的に収集して保存する方法

googleで検索する時に、検索結果として出てくるサイトのURLをプログラミングなどで、機械的に収集する方法を教えてほしいのですが、ご存知の方はいらっしゃるでしょうか？

Linuxのシェルプログラミングでw3mを用いて、やろうとしたのですが、できませんでした。

あと、google web APIsを使った方法があるとわかったのですが、一日に1000回という制限があるらしく、他の方法があればと思い、質問させていただきました。

何かご存知の方、よろしくおねがいします。

No.1 回答者： pipipi523 回答日時： 2006/07/15 08:34

Linuxならperlで処理すれば可能だと思います

↓perl httpで検索して出てきたURL
http://x68000.q-e-d.net/~68user/net/
この辺りを見ながら作ってみてはどうでしょう