元文学部、プログラマ1年目です。
今日は会社からあるデータをMySQLを入れるように言われました。
tar.gzファイルが1000ほどあり、それを解凍して「LOAD DATA INFILE」構文で入れるというものです。
入力作業自体は難しくないはずなのですが、少しやっかいなのは、合計200GBほどの大量データであり、ファイルによってタブの位置が違ったりします。
自分のレベルであっても、それくらいの整形はできるのですが、何しろデータ量が半端なく多いので、エラーが出たりすると中断したりして、順調には行きません。
すでに2日まるまるかかっていますが、まだ終わりません。
さて、ここで質問なのですが、一般にこうしたデータベースの大量入れ込み作業というのはどれくらいかかるのでしょうか。周囲はマイペースでやってかまわないというのですが、ここまで時間がかかると少し不安になってきます。ただし、経験も少ないので、かかる時間の目安もわかりません。
どなたか、親切な方、大量データの入力にかかる時間の大体の目安というのを教えていただけませんか。
No.1ベストアンサー
- 回答日時:
>大量データの入力にかかる時間の大体の目安
そんなものは、存在しません。
入力データに誤りがないという前提で、私の階層DBの経験では、最適でない設計をした場合、24時間必要であったものが、最適な設計にしたら30分で完了したといった事例があります。
しかし、今回の話は、入力データのミスを含めた話ですよね?
テスト環境でのリハーサルや入力データ作成元が、「どのような検証をしたのか?」といったことを、逆に聞きたいです。
階層DBなどを含めたDBMSの性能では、I/O回数が全体の処理時間に大きく影響します。階層DBでは、これ以外に、重複チェックなどが、性能劣化を引き起こす要因でした。RDBMSでは、これ以外に、表の構成列数も、性能に大きく影響します。また、データの初期ロード(今回は、LOAD DATA INFILE)が、「初期ロード用の専用インタフェースで行なわれているか」、「SQLのインタフェースで行なわれているか」といったことが、性能に大きく影響します。後者の「SQLのインタフェース」は、通常のファイル操作に比べ、コストパーフォマンスは劣化します。初期ロード等向けに専用インタフェースがあり、必要最小限の処理が提供されていれば、コストパーフォーマンスは優位になります。
本当にありがとうございます。
今回のデータ入力は急ぎではないので、最終的に入れられればよいらしいです。自分も1日でできるだろうと思っていたのですが、予定以上に時間がかかってしまいました。
事前のデータ形式は仕様書レベルではわかるのですが、そこには書いていないような事例がいくつか頻発して、それがエラーの原因になるのです。
ケースによりけり、という心強いお言葉をいただいた時点で前進できそうな気がします。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 会社・職場 Excel、Googleスプレッドシートなどへのデータ入力 2 2023/07/06 05:59
- システム CSVファイルのマッピング処理の省力化 1 2022/11/24 00:01
- Excel(エクセル) 【マクロ】同じフォルダ内にある複数ブックから1つのブック内の1シートにデータを集めたい 6 2022/09/28 18:16
- ドライブ・ストレージ SSDを追加したら昔のHDDがおかしくなった 4 2023/03/23 13:25
- その他(プログラミング・Web制作) Windowsのマクロプログラムで、こんなことできますか? 3 2022/06/28 14:30
- 大学受験 通信制高校高3です。英語と国語について。 今から11月の終わり又は1月、2月の終わりまでに進研模試偏 5 2022/07/27 11:59
- 予備校・塾・家庭教師 通信制高校高3です。英語と国語について。 今から11月の終わり又は1月、2月の終わりまでに進研模試偏 1 2022/07/26 22:51
- 会社・職場 今後の仕事について 閲覧ありがとうございます。 私は現在28歳の男性です。 自分が向いている仕事、続 3 2022/08/01 12:19
- Visual Basic(VBA) 3つのプロシージャをまとめたら実行時エラー発生で対応不能 6 2022/05/17 01:47
- Visual Basic(VBA) 顧客ごとに違う点検案内を作成するマクロ 4 2022/09/16 05:34
関連するカテゴリからQ&Aを探す
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
データベースファイル(.db)を開...
-
DBファイルの中身を直接見れな...
-
同じSQL文で極端に検索が遅くな...
-
Access2010でアクセス制限をしたい
-
DB2の文字化け
-
画像などの格納方法
-
バッチでAccessのmdbファイルを...
-
アクセスでテーブルのリンクが...
-
SQLServer2005のネットワークド...
-
PL/SQLで@ファイル名が反応しま...
-
作成したレコードセットのCSV出...
-
あるDBから別のDBのテーブルをs...
-
sql*loader 数値のロード
-
wordpressでサイトを作るとき、...
-
mysqlにおけるホストのパーセン...
-
MySQL4.1系でPHPが文字化けして...
-
niftyのラクーカンでのphpMy...
-
【初心者です】SQLPLUSでのバッ...
-
PL/SQLをWindowsのBATファイル...
-
BCPコマンドについて
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
データベースファイル(.db)を開...
-
同じSQL文で極端に検索が遅くな...
-
DBファイルの中身を直接見れな...
-
ODBCを使用する場合のファイルD...
-
DB2の文字化け
-
batでsqlplusによる前月データ...
-
ダンプファイルから特定のテー...
-
Access2010でアクセス制限をしたい
-
SQLデータベースへのリンクがあ...
-
Notesの「notes.ini」内の環境...
-
SQLServer2005 セカンダリファ...
-
SQL*Loaderで桁数チェック
-
badファイルの内容を知る方法
-
accdbファイルの最適化
-
SQLiteとファイルキャッシュで...
-
SQLLDRの制御ファイルについて
-
sqlファイルを分割するソフトは...
-
SQLServer2005のネットワークド...
-
MySQLって何ですか?
-
お世話かけますが、エラー内容...
おすすめ情報