
質問させて頂きます。
フレームワークにcakePHP、DBにMySQLを使用して開発をしております。
バルクインサートする際にメモリが足りず処理を行なうことが出来ません。
何か参考になる方法があれば教えて頂けると幸いです。
今回10万件ほどの大量のランダム文字列(ユニークを期待)データをPHP側で作成して、そのデータをバルクインサートを使用して保存したいと考えております。
※この時点でユニークのチェックをしているわけではないので、必ずしもユニークなデータとは限りません。
また、データ投入方法として、データの重複を避けるため、「INSERT IGNORE INTO」を使用しております。
cakePHPのsave()を使用して、「INSERT IGNORE INTO」を設定する方法が分からなかったため、
query()を使用して、直接SQLを記述しております。
また、SQLを直接記述するためサニタイズも行っております。
具体的には
-----------------------------------------------------------------
// (?, ?)の部分はimplode()を使用してデータ件数分記述します。
$sql = "INSERT IGNORE INTO random_code_table ( random_code, created) VALUES (?, ?),(?, ?),(?, ?),…(?, ?)";
// $random_code_list配列に10万件のランダム文字列データを格納しています。
foreach ($random_code_list as $code) {
$params[] = $code;
$params[] = date('Y-m-d H:i:s');
}
$this->query($sql, $params, false );
-----------------------------------------------------------------
上記の記述にして、1万件のデータを投入した場合、1件ずつ追加していた時よりも数段早く処理速度を上げることが出来ました。
しかし、10万件のデータを投入した場合、下記のようなPHPエラーが出て、処理がSTOPしてしまいます。
「Error: Fatal Error (1): Allowed memory size of 268435456 bytes exhausted (tried to allocate 1000084 bytes)…」
自分なりに解決方法は無いかと調べてみたのですが、php.iniでメモリの上限を上げるといった方法しか見つけることが出来ず、こちらに質問させて頂きました。
理解不足の部分もあり、質問内容に不備な点があるかもしれませんが、少しでもヒントになるようなことがあれば教えて頂けると幸いです。
ご存じの方がいらっしゃいましたら、よろしくお願いいたします。
No.1ベストアンサー
- 回答日時:
メモリが足りないと言っているのですから、メモリを消費しないようにコードを書き換えるべきです。
というか、10万件をいっぺんに登録しようとしているところに問題があるように思います。
データを1万件ずつに分けて登録してみたらどうでしょうか。
あるいは、SQL でデータ重複をはじくのではなく PHP のほうで array_unique() を使って重複を除去したうえで save() するとか。
http://www.php.net/manual/ja/function.array-uniq …
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
教えて下さい
-
【エクセル】測定時間がバラバ...
-
[C言語] コメント文字列を無視...
-
メモ帳(テキストデータ)をExc...
-
COBOLの定義について
-
【USBメモリ】Sequential Writ...
-
EXCELVBAでSQLserverからデータ...
-
この行は既に別のテーブルに属...
-
EXCEL VBA FREQUENCY関数での...
-
VB6のListの使い方
-
Accessで該当データにフラグを...
-
配列でデータが入っている要素...
-
エクセルのtoday関数を使用して...
-
ノイズの入った波形をきれいな...
-
子ダイアログのデータを親ダイ...
-
VBA 判定文で理解できない結果...
-
モジュラス103の算出方法について
-
多量のSUMIF式を軽くしたい
-
ACCESSからEXCELに出力する際、...
-
0が含まれる幾何平均が「#NUM!」
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
教えて下さい
-
【エクセル】測定時間がバラバ...
-
メモ帳(テキストデータ)をExc...
-
配列でデータが入っている要素...
-
多量のSUMIF式を軽くしたい
-
ACCESSからEXCELに出力する際、...
-
この行は既に別のテーブルに属...
-
特定のデータの抽出方法を教え...
-
Accessで該当データにフラグを...
-
Excel VBAでのオートフィルター...
-
ユーザーフォームのテキストボ...
-
[C言語] コメント文字列を無視...
-
DataGridViewのデータの引渡し...
-
エクセルで2つの時系列のデー...
-
VBA 空白セルを削除ではない方...
-
CString型の文字列連結について
-
S9タイプからXタイプにデータ...
-
C# でDataTableの更新を高速化...
-
VBA 円グラフ 特定条件に一致し...
-
二分探索の平均探索回数
おすすめ情報