複数IPを割り当てた一台のサーバから複数IPでクローリングするにはどうしたら良いでしょうか？

＃ちなみに、複数IPでクローリングしたいのは、TwitterのAPI制限（1分に1回とか）を少し緩和してデータを取得したいからです。5つくらいのIPなので、Twitterへの負荷は大きくないと思います。

今思いつく方法としては、仮想ホスト化？して、1台のマシンを複数のマシンとして扱って、それぞれでクロールのプログラムを走らせることです。
ただ、やりたいのはTwitterのフォローネットワークを辿っていくことで、複数のマシンでプログラムを走らせると、取得するユーザがかなり被ってくると思われるので、別の方法があればそうしたいです（適切に分散処理してやれば良いのでしょうが）。
例えば、走らせるのは一つのプログラムなんだけど、クローリングするときに、プールしてあるIPを毎回変えながらデータを取得するとかできないのでしょうか。

宜しくお願い致します。

No.2 回答者： lowrider_2005 回答日時： 2017/09/25 11:13

それはクローリングするプログラム次第。

ソースIPを指定するオプションがあるプログラムなら可、としか言いようがない。

No.1 回答者： k-841 回答日時： 2017/09/24 14:45

クローリングプログラムは自前でしょうか？であれば、接続に使うソケットを、connectする前にbindでプールしているIPアドレスと結び付けるような処理を作ればよいです（クローリングプログラムを作れる人なら、これぐらいの説明で十分ご理解いただけると思います）。

出来合いのプログラムを使うとすると、バインドIPアドレスを引数などで選択できるものがもしあるなら、それを使うといいでしょう。もしくは、泥臭いですが実行ごとに外に出ていく側のIPアドレスを変更して実行とかですね。

ただ上記はあくまで技術的な話であって、Twitter側がそういった利用を許容しているかどうかは私は知りませんので、あくまで公正にご利用ください。