MySQLで連続csvファイルを読み込むために

Question

MySQL 5.6を最近使い始めました。
大量のcsvファイルで保存されているデータを読み込んで、データベースとして扱いたいのですが、どうすれば良いでしょうか？

ファイル名は、
data1_1.csv
data1_2.csv
data1_3.csv
data2_1.csv
data2_2.csv
といった形で、規則正しく並んでいるのですが、大量にあるため、ループを使って自動化したいと思っております。そのために、LOAD DATA INFILE ファイル名　を使って、このファイル名を順次変えて繰り返す方法がわかりません。

まず、ファイル名に変数が使えるのかと思って @file="data1_1.csv"としてファイル名を置き換えてみたのですが、エラーでした。これでは、この1_1を順次動かす以前に変数が無理なのかも？と思っています。

何かやり方があるようでしたら、どなたかお教えください。
どうぞよろしくお願いいたします。

Gaffgarion · Accepted Answer

スクリプトは不要でした。
mysqlimport単体で複数ファイルを一括インポートできるようです。

例えばtkhgshデータベースのtestテーブルにインサートするとします。
ファイル名を
data1_1.csv、data1_2.csv、data1_3.csv、data2_1.csv
から
test.data1_1.csv、test.data1_2.csv、test.data1_3.csv、test.data2_1.csv
などとインサートするテーブル名に変えてください。

mysqlimport -L tkhgsh /path/to/test.*

これで一括インポートできます。スクリプトは不要でした。
mysqlの権限やcsvファイルのパーミッションに気を付けてください。
他、オプションやcsvファイルの仕様などはマニュアル見てください。

http://dev.mysql.com/doc/refman/5.1/ja/mysqlimport.html
http://dev.mysql.com/doc/refman/5.1/ja/load-data.html

------------

自分が言ったスクリプトというのは、
#!/bin/sh
files="/path/to/csv/*"
for file in ${files}
do
  mysqlimport database ${file}
done
で、1ファイルずつmysqlimportすることを考えていました。
これとは別に、最初にファイルをまとめて巨大なファイルを作ってインポートでも可能ですね。
$ cat /path/to/csv/* >test.csv 
$ mysqlimport database test.csv

また、回答2、3の人のはcsvをインポートではなく、
csvをinsert文に変えてmysqlに突っ込む方法ですね。
$ mysql database <test.sql でtest.sqlに書かれたsql文をdatabaseに対して発行できます。
csvの中が
A 1
A 2
b 3 
などとなっていれば、例えば
insert into test values('A', 1);
insert into test values('A', 2);
insert into test values('B', 3);
などと変えてやり、それで上記の$ mysql database <test.sql でインサートできます。

やり方様々、あります。
mysql、linux、シェルスクリプトの基本の基本から学びなおしてください。
windows環境ならばシェルスクリプトではなくコマンドプロンプトですね。がんばってください。

gtx456gtx · Answer

下記のようなバッチ・ファイルを作成して、実行できませんか？

mysql -u napzak -p --default-character-set=utf8 foo_db < dump.sql

３００個は大したことないですよ。
ディレクトリが複雑だと面倒ですが、それも事前に別なバッチで前処理すれば解決できますよ。

要は、必要ならPerlなどで前処理を行ってから「mysql -u napzak -p --default-character-set=utf8 foo_db < dump.sql」などのコマンドを実行するようにすれば、起動して完了を待つだけになりますよ。
まぁ～それなりに事前のテストなどは必要ですが ^ ^;

gtx456gtx · Answer

ＣＳＶがあるなら、ちょっとフォーマットを編集してＳＱＬに直して、普通にインポートするのは駄目ですか？

Gaffgarion · Answer

mysql内で完結しないといけないのでしょうか？
スクリプト(シェルスクリプトやコマンドプロンプトのバッチ)とmysqlimportは使えませんか？

MySQLで連続csvファイルを読み込むために

スクリプトは不要でした。

下記のようなバッチ・ファイルを作成して、実行できませんか？

ＣＳＶがあるなら、ちょっとフォーマットを編集してＳＱＬに直して、普通にインポートするのは駄目ですか？

この回答への補足

mysql内で完結しないといけないのでしょうか？

この回答への補足

似たような質問が見つかりました

関連するカテゴリからQ&Aを探す

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング