どなたかご教授下さい。linux初心者です。
気象庁の地震速報の詳細ページを日別に自動で入手したいのです。
たとえば今日ならば、ひとつのファイルは
http://www.jma.go.jp/jp/quake/20110612112208391- …
...112208391-121117が発生時刻と発表時刻となるようなので
規則性がありません。そこで:
$ wget http://www.jma.go.jp/jp/quake/20110612\d{9}-\d{6}.html
とやったのですが;
--2011-06-12 12:58:36--
http://www.jma.go.jp/jp/quake/20110612d%7B9%7D-d …
Resolving www.jma.go.jp (www.jma.go.jp)... 124.40.39.100
Connecting to www.jma.go.jp (www.jma.go.jp)|124.40.39.100|:80... connected.
HTTP request sent, awaiting response... 404 Not Found
2011-06-12 12:58:36 ERROR 404: Not Found.
となってしまいます。
これはwgetの正規表現がおかしいのでしょうか?
A 回答 (5件)
- 最新から表示
- 回答順に表示
No.5
- 回答日時:
「正規表現の理 解不足だったようです。
」自己解決がとんでもない方向にむかいそうなので軌道修正するよ。
まず、理解不足なのは「正規表現」じゃなくて、Linux のコマンドなら正規表現がつかえるだろうというおもいこみかな?
しらなかったかもしれないけど、wget は正規表現つかえないよ。正規表現がつかえるコマンドなんてもともとそんなに多くないし。
正規表現がつかえるコマンドかどうかは、
$ man コマンド名
で表示されるコマンドリファレンスのなかに正規表現のことがかいてあるからわかるとおもうよ。
あと、正規表現っていっても方言のようなものがあって、コマンドによってつかえる表現が少しずつちがうから注意してね!
正規表現を覚えるなら、とりあえず grep からでいいかな?
http://linuxjm.sourceforge.jp/html/GNU_grep/man1 …
質問の解決策は、[ANo.4] さんが回答してくれてるからとくにいらないよね。
よい Linux ライフを!
ありがとうございました。正規表現をdosのワイルドカードと誤解してしまい、ファイル名が不明でも規則に従ってwget出来る、と誤解していました。
unixは勉強し始めたばかりで、皆さんに迷惑をかけてしまいました。あれから自力でスクリプトを書いて(下記)みたのですが、やはり[ANo.4]が綺麗ですね。大変勉強になりました。
#(1)気象庁ファイルの抜き出し
wget http://www.jma.go.jp/jp/quake/quake_local_index. …
#(2)特定月日の行だけ抜く
awk '/20110612/ {print $0}' quake_local_index.html > quake.log
#(3)html部分だけ抜く
$ awk '{print substr($0,25,30)}' quake.log > add_quake.log
#(4)シェルスクリプト作成
cat add_quake.log | awk '{print "wget http://www.jma.go.jp/jp/quake"$1}' > jikko.sh
#(5)実行
sh jikko.sh
No.4
- 回答日時:
地震の一覧ページを取得して、欲しい日付のファイルをダウンロードするスクリプトを書けばよいでしょう。
ということで書いてみました。
#!/bin/bash
# 前日の地震の情報を取得するスクリプト
date=`date +%Y%m%d --date=yesterday`
wget http://www.jma.go.jp/jp/quake/quake_local_index. … -O html.txt
for html in `grep "./$date" html.txt | cut -b 26-54`
do
wget -p --cut-dirs=2 http://www.jma.go.jp/jp/quake/$html
done
ありがとうございました。あれから自分でも考えて見よう見まねで作ってみたのですが、さすが見事なスクリプトです。大変勉強になりました。ご指導感謝します。
No.3
- 回答日時:
httpでの通信では、一般的には、「有効なURLの一覧表」なんてものを受けとれるものではありません。
正規表現は、対象と比較してマッチするかどうかを調べるのに使うものです。
「比較対象」である「URL一覧」が無いのに、どうやって比較するのでしょう?
通常は、RSSとか、一覧表示するページとかから、正規表現にマッチするURLを抽出してそれをwgetで処理します。
No.2
- 回答日時:
コマンドラインに書くURLに正規表現が使えるwgetがあるんでしょうか?
http://www.gnu.org/software/wget/manual/wget.html
\d{9}-\d{6} の『\d』ってこれ一般的な正規表現なのでしょうか?
http://www.kt.rim.or.jp/~kbk/regex/regex.html
# 回答でなく質問ですみません。
# お使いのwgetが特殊(?)な実装を施したものであるのなら・・・以下略
No.1
- 回答日時:
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- その他(IT・Webサービス) MacとWindows Google検索した時のURL表示の違いについて 1 2022/11/17 10:38
- ゲーム コインゲーム、何枚まで行きましたか? 私は1万スタートで20万枚。 ガッツリgo!勝てますよ 釣竿レ 1 2022/09/04 19:10
- その他(プログラミング・Web制作) .htaccessの設定で、httpはhttpsに、且つ、wwwありに統一、の記述方法 2 2023/06/22 10:54
- その他(パソコン・周辺機器) Bluetooth 機器を二つ以上つなぐとつないだ機器が使えなくなる 2 2022/08/20 17:43
- サーバー IIS10でホスト名を設定するとHTTP Error 404が出てしまいます 1 2022/04/04 13:17
- CPU・メモリ・マザーボード Dell製ノートパソコンのメモリ増設についてです! 6 2023/06/10 21:31
- 楽器・演奏 Schecter シェクター エレキギター 廉価版 3 2022/03/23 17:00
- 楽器・演奏 ぶっちゃけ五年使うならどちらを選びますか?初心者 https://www.fender.com/ja 2 2022/06/06 21:03
- ノートパソコン Windowsのノート型パソコンで10万円以下か前後で長く使えそうなものはありますか?オフィスなどは 9 2023/05/05 05:21
- 家具・インテリア 新しく枕を購入しようと思っています 1 2022/07/22 17:27
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
GNOME端末の起動 及び コマンド...
-
scpコマンドでリモートサーバの...
-
DOSコマンドでのワイルドカ...
-
【ターミナル】MacBookにディー...
-
cactiでグラフが表示されない
-
DOSコマンドでディレクトリ以下...
-
Illustratorのデータをまとめて...
-
IBM漢字コードのSJIS変...
-
Mac OS Xでターミナル上で、標...
-
Linux shell ftp 転送 エラー制御
-
動画から写真を取り出す方法
-
Viで書き込もうとすると、保...
-
複数の処理を順番にログアウト...
-
書き込み権限が無いためコピー...
-
シェルの -eq の動作について
-
csh(Cシェル)のevalに関して
-
solaris ディスク情報の見方に...
-
環境変数の設定変更について
-
diskpart でパーティションの一...
-
FTPコマンドの戻り値について
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
scpコマンドでリモートサーバの...
-
DOSコマンドでのワイルドカ...
-
rcpコマンドについて、教えて!
-
Illustratorのデータをまとめて...
-
telnet,rlogin,rshの違いってな...
-
IBM漢字コードのSJIS変...
-
GNOME端末の起動 及び コマンド...
-
FTP接続中のコマンド実行結果を...
-
AIX ksh利用 grep 検索で マ...
-
【ターミナル】MacBookにディー...
-
lsコマンドで表示するファイル...
-
Windows10のRegSys32に登録され...
-
別名でリンク先を保存。
-
属性変更できないです。
-
AIXの勉強方法について
-
linuxのreadコマンドについて
-
ログイン、ログアウト時にコマ...
-
cactiでグラフが表示されない
-
Macの Terminal でのエラーと...
-
Solaris rmコマンドをシェルで...
おすすめ情報