#ちなみに、複数IPでクローリングしたいのは、TwitterのAPI制限(1分に1回とか)を少し緩和してデータを取得したいからです。5つくらいのIPなので、Twitterへの負荷は大きくないと思います。
今思いつく方法としては、仮想ホスト化?して、1台のマシンを複数のマシンとして扱って、それぞれでクロールのプログラムを走らせることです。
ただ、やりたいのはTwitterのフォローネットワークを辿っていくことで、複数のマシンでプログラムを走らせると、取得するユーザがかなり被ってくると思われるので、別の方法があればそうしたいです(適切に分散処理してやれば良いのでしょうが)。
例えば、走らせるのは一つのプログラムなんだけど、クローリングするときに、プールしてあるIPを毎回変えながらデータを取得するとかできないのでしょうか。
宜しくお願い致します。
A 回答 (2件)
- 最新から表示
- 回答順に表示
No.1
- 回答日時:
クローリングプログラムは自前でしょうか?であれば、接続に使うソケットを、connectする前にbindでプールしているIPアドレスと結び付けるような処理を作ればよいです(クローリングプログラムを作れる人なら、これぐらいの説明で十分ご理解いただけると思います)。
出来合いのプログラムを使うとすると、バインドIPアドレスを引数などで選択できるものがもしあるなら、それを使うといいでしょう。もしくは、泥臭いですが実行ごとに外に出ていく側のIPアドレスを変更して実行とかですね。ただ上記はあくまで技術的な話であって、Twitter側がそういった利用を許容しているかどうかは私は知りませんので、あくまで公正にご利用ください。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- ネットワーク DHCPのリース期限が半分になった時、WindowsPCはリースの延長をリクエストするかと思います。 2 2023/01/17 09:12
- Windows 10 インストールしたてのVirtualBoxの仮想マシンにDHCPで割り振られるIPアドレスにつきまして 1 2023/05/03 14:46
- YouTube パソコンのIPアドレスを複数、持つことに関して、法律に違反ですか。 9 2022/06/23 18:20
- その他(コンピューター・テクノロジー) 50台の織機から回転数を取得・集計しモニターに表示したい 2 2022/11/05 15:48
- VPN 接続のたびにIPが変わるVPNサービスが知りたい 2 2022/06/27 02:34
- PHP ここでの ②if($su_d<>"")の比較演算子 を使う理由は 1 2022/03/26 02:33
- 工学 1つのタクトスイッチで複数の並列回路を閉じ、アースにつなげることができるスイッチはありますか。 2 2022/08/06 10:38
- ネットワーク 一台のサーバーに複数個のIPアドレスを追加出来る事は知っていますが、具体的にどうやるのでしょうか? 4 2022/11/03 20:12
- その他(学校・勉強) この中で間違ってある説明はありますか?詳しい方に教えていただきたいです。 A. 1つのプログラムが複 2 2023/07/14 01:15
- ライブ・コンサート・クラブ この件についてどう思うか教えてください とあるイベントチケットに行きたく、Twitterで譲渡してく 3 2023/04/08 23:37
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
softonicという物をダウンロー...
-
F12 開発者ツールについて。
-
開発規模について
-
Excel2010 開くとすぐ消える
-
Android SDKのアンインストール...
-
ドナルドウズを消す。
-
拡張子はなぜ、大文字と小文字...
-
Windowsフォルダ内のファイルと...
-
ひとつのファイルを一括で複数...
-
複数のフォルダへ同時にファイ...
-
フォルダの中に1個しかファイ...
-
Androidアルバムの画像を消去で...
-
デスクトップ白色アイコン名の...
-
iPhoneのメモ帳が重いです。メ...
-
パソコン、ワンドライブをプリ...
-
エクスプローラーのピン止めが...
-
起動ドライブ"C"直下に現れた"O...
-
フォルダの並び替えの項目を固...
-
タスクスケジューラからショー...
-
ターミナルソフトで全スクロー...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
softonicという物をダウンロー...
-
ドナルドウズを消す。
-
開発規模について
-
Android SDKのアンインストール...
-
Excel2010 開くとすぐ消える
-
RoxWatchTray13.exe システムエ...
-
GAIN?
-
スパイバット1.4の注意事項
-
ウイルスバスター2006の削除
-
タスクバーの物を消したい
-
プログラムを削除したいのです...
-
outlook expressはどこに?
-
常駐ソフトを停止させたいので...
-
cドライブからプログラムを削除...
-
携帯カメラで取った画像を「ピ...
-
インストールされてるプログラ...
-
画面の広告などを取り去りたい
-
アダルトサイトからの進入
-
エクスプローラからNASのアイコ...
-
プログラムの追加と削除の一覧...
おすすめ情報