ブラウザでURLのリストを間隔をおいて自動でダウンロードしたい

URLのリストがあり、そのURLを、WEBブラウザで、数秒の間隔をおいて順番にダウンロードしたいのですが、何か良い方法はあるでしょうか。

リストは、例えば以下のような感じです。

――――――――――――――――

https://example.com/001.html
https://example.com/002.html
https://example.com/003.html

――――――――――――――――

クッキーが有効でないといけないので、WEBブラウザからダウンロードする必要があります。

相手方のサーバーに負荷を掛けない為に、数秒の間隔をおいてダウンロードしたいです。

対象ファイルは、画像や圧縮ファイルではなく、HTMLファイル（WEBページ）です。

ソフトのダウンロードサイト等で、ダウンロードページを開くと数秒後に自動でダウンロードが始まるサイトがあるかと思いますが、そのような処理を、こちらが用意したURLリストで、数秒間隔で順次ダウンロードしていって欲しいという事です。

人が全てのURLをクリックしてダウンロードするのは大変手間が掛かるので、これを自動化したいという事です。

理想は、HTMLファイルで、URLの入力欄があり、そこにURLリストを貼り付け、「スタート」ボタンを押すと、そのURLを数秒間隔で自動ダウンロードしていってくれるというものです。

上記仕様でなくても、実現出来るならどんな方法でも良いのですが、何か実現する方法はあるでしょうか。

質問者からの補足コメント

• 

  色々試してみましたら、Irvineのみで今回の問題を解決するのは難しそうだったのですが、「クッキーを使う」というアイディアを頂きましたので、「ツール」+「クッキー」という発想でスクリプトを書いたら、無事に目的を達成出来ました。ありがとうございました。
  
  ユーザーによる操作は、1度のログイン作業だけで済むようになりました。沢山のURLをクリックする必要はなくなりました。
  
  これで作業が非常に楽になりました。本当にありがとうございました。大変助かりました。

  No.3の回答に寄せられた補足コメントです。 補足日時：2020/03/04 21:43

No.1 ベストアンサー 回答者： yos1912 回答日時： 2020/03/02 23:15

ブラウザからではありませんが、古いwindows freeソフトでirvineというのを使ってダウンロードすることがあります。

windows8.1(64bit)で動作しています。win10でも大丈夫なようです。
　 htmファイルは読み込んだことはありませんが、リンクをたどってくれると書かれていますからリンクも含めて読み込んでくれるものと思います。クッキーマネージャがついていますので、クッキーに対応しているかと思います(あまり意味がないと思うが)。
　数秒間隔でという機能はないのですが、最大ダウンロード速度を変えることができますから、相手のサーバの負担を減らすことも可能だと思います。
　最大の利点は書かれているようなurlリストだとｈttps://example.com/[001-003].html(リンクしないように最初のhを２バイト文字にしています) の文から自動的に３つのurlを設定してくれることです。

irvineダウンロード：https://www.vector.co.jp/soft/win95/net/se218138 …

補足；jwordのインストールを促されますが、必要はないと思います。

この回答へのお礼

ご回答ありがとうございます。

お教え頂いた方法を試してみましたが、残念ながらうまくいきませんでした。

HTML自体はダウンロードされるのですが、ログイン画面やエラーページのHTMLがダウンロードされるだけといった状況です。

もう少し色々試してみます。ありがとうございました。

お礼日時：2020/03/03 10:56

No.3 回答者： yos1912 回答日時： 2020/03/03 16:43

どこから見ているのかを偽装する方法もあるようです。

これでできなければたぶんirvineではお手上げです。サイト側も新しい手口でいろいろ防御しているようですから。IDが利かないようなので無理な可能性の方が高そうです。

Irvineで画像がダウンロードできない場合に
http://negaticle.blog106.fc2.com/blog-entry-562. …

user agent(windows10 64bit)の例です
chrom:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100
firefox:Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0
ie11　 :Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
edge　:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134

referer のurlはログイン後のアドレスにしてみてください。どこからページを参照したかを偽装します。

クッキーは確認した方がいいでしょう。firefoxでは、右クリックからページの情報を表示させると、セキュリティタブでチェックできます。

irvine はブラウザから連携してダウンロードできていたと思うのですが、自分のパソコンではいつの間にかコンテキストメニューから消えています。
ブラウザで、ログインしてからirvineで偽装してダウンロードしてみるのもありかと思います。

この回答へのお礼

再度、ご回答ありがとうございます。

試してみましたが、効果があるのか検証が難しい感じです。

そのサイトは、未ログイン状態でアクセスすると、しばらくはアクセスさせてくれますが、しばらくするとログインページが表示されます。

複数タブを開いたりしてアクセスが混み合っても、規制ページが表示されます。

しかし、アクセス出来なくなっても、しばらくアクセスをやめていると、またアクセス出来たりします。

今回、Irvineでは正常にダウンロード出来たり、出来なかったりの状態なので、全く正常なページがダウンロード出来なかった前よりは良くなっているかと思います。

ただ、安定はしておらず、実用するにはまだ厳しいので、もう少し色々と試してみます。

何度も回答して頂き、本当にありがとうございます。うまくいったらその旨を補足させて頂きます。

お礼日時：2020/03/03 21:50

No.2 回答者： yos1912 回答日時： 2020/03/03 12:29

これできませんか。

動画の例ですが、どのファイルでも同じだと思います。

ID・PASSを入力してダウンロードする動画をirvineでダウンロードする手順
https://detail.chiebukuro.yahoo.co.jp/qa/questio …

この回答へのお礼

再度、ご回答ありがとうございます。

お教え頂いた方法を試してみましたが、残念ながらログインページがダウンロードされるのみでした。

お礼日時：2020/03/03 13:37