![](http://oshiete.xgoo.jp/images/v2/pc/qa/question_title.png?5a7ff87)
掲題の通り、大規模データの処理で悩んでおります。
行ベクトル150万、列ベクトル14のCSVファイルを読み込もうとしているのですが、データ数が10万以上になるとVisual C++が勝手に動作を停止してしまいプログラムを実行することができません。
具体的には、CSVファイル上の4列目に記載されている都道府県名のデータを配列で取り、画面に表示しようと、次のようなプログラムを書いているのですが、
#include<stdio.h>
#include<string.h>
#include<stdlib.h>
#define FNAME "data.csv"
#define NUM 10000
int main(void)
{
FILE *fp;
char buf[256];
char *p_token;
char dat[14][100];
int n;
int i;
long int j;
char *place[NUM][15];
place[NUM][15]=(char*)malloc(sizeof(char)*NUM);
fp = fopen(FNAME,"r");
if (fp == NULL)
{
printf("ファイルをオープンできませんでした\n");
return 0;
}
for(j=0;j<=NUM;j++){
fgets(buf,256,fp) !=NULL;
p_token = strtok(buf, ",");
strcpy(dat[0],p_token);
n=1;
while(-1)
{
p_token = strtok(NULL,",");
if(p_token == NULL)
{
break;
}
strcpy(dat[n],p_token);
n++;
}
if(j!=0)
{
place[j-1][10]=dat[3];
printf("%s \n",place[j-1][10]);
}
}
fclose(fp);
free(place[NUM][15]);
return 0;
}
NUMの数を10万以上にすると、実行してもプログラムが勝手に停止してしまいます。書籍もネットも大分読み漁ったのですが、処置がまったくわからず途方にくれています。
どなたかこうした処理に詳しい方、アドバイスをいただけないでしょうか。よろしくお願い申し上げます。
追記:(1)都道府県名を二次元配列で取っているのは、都道府県名が「大阪府」などと、CSVファイル上で日本語で記載されているからです。
(2)プログラムを実行する際にデータ数を10万以上にすると、CSVファイルをフォルダ内においていなくてもプログラムが停止します(ただしコンパイルエラーはでません)。つまり、メモリの確保に問題があるということになるのでしょうか?
No.4ベストアンサー
- 回答日時:
こんばんは.
メモリの制限について気にしておいでのようですが,
それより先に気にすることがあると思います.
何をしたいかはともかくとして,
> char *place[NUM][15];
の部分はかなり問題です.
この場合はmain関数なので救いがありますが,
このような巨大な変数を自動変数として確保してはいけません.
通常,自動変数はスタック領域に取られるからです.
スタック領域はせいぜい数MBですから,それだけで領域を食い潰してしまいます.
大きな変数は必ずヒープ領域から取らなければなりません
(用語の意味が分からない場合はご自身で調べてください,とても基礎的な内容です).
また,全てのデータを「そのまま」メモリ上に展開する必要があるのでしょうか?
日本語文字列をそのまま展開するより数値なりアルファベットなりに置き換えた方が良いように思えます.
(1)エントリを取得
(2)対応表を探索
(2a)存在すれば値に置き換える
(2b)存在しなければ新たな値を定義して置き換える
(3)数値に置き換えた行ベクタをメモリに保存
とすれば,後々ソートもやりやすいかと思いますが.
都道府県名は47しかないので,途中で対応表を操作せずに済むので非常に楽です.
そして,ソートして出力する段で改めて対応表に基づき,値を文字列に直せば良いと思います.
ご回答のほど、ありがとうございます!
静的記憶でとるべく配列を宣言する場所をmain関数の外に出したらあっさりできました。本当にありがとうございます!!
つまり、スタックオーバーフローが生じているということだったんですね。やっとエラーの意味が理解できました。
後半の指摘も言われてみればその通りですね(汗)。
全部数字などに置き換えた方が扱いも楽ですし、折角の連休ですし、がんばってやってみたいと思います。
この度はご親切に色々教えて下さり、本当にありがとうございました。
No.5
- 回答日時:
ANo.3 = Interest です。
ANo.4のお礼で解決できたかのようなことを書かれていますが、本質的には何も解決してないんじゃありませんか?
> 最終的に何をしようとしているかといいますと、CSV形式のデータから
> 全体を読み込み、商品名と時系列によってソートをかけ全体のデータ
> を行ベクトルごとに並べ替えることを目的としています。
というのが本来の目的なのですね。
> ただ、実は今回のデータ分析は研究目的で行っておりまして、
> 将来的にはさらに大規模なデータを処理する可能性があるからということで、
> 教授に他のソフトウェアを使うのを禁じられています。
でしたら、扱うデータの量が膨大なのですから、処理速度や今後の応用のしやすさも含めて、DBMSをつかうのがベストな選択肢だと思います。なにせ、DBMSはそういう膨大なデータを並べ替えたり、ある条件下のものだけ抽出したりするためのソフトウェアなのですから。
例えば Microsoft Office Access 2007 アカデミック版なら \15,000-くらいで買えますし、CSVファイルをAccessに読み込む(インポートする)ことも簡単です。Accessと簡単な入門本を買ってきたら、PCにインストールしてからCSVファイルをインポートして簡単な並べ替えができるようになるまでに、2時間もかからずに済むんじゃないでしょうか。
実際に大量のデータ解析をしようとすると、入力元のデータにゴミが混じっていたりするので、ごみを取り除く作業が結構手間だったりしますが。
> 何とか教授に怒られないようにがんばりたいと思います。
ちょっとばかり追い詰めれられた感がありますね。指導教官(や上司)の顔色をうかがうようになったらやばい証拠です。「がんばる」のではなく、どうやったら最短の手数で最大の効果を得られるか考える方に頭を使いましょう。
PS: malloc を使ってメモリを確保するときは、ファイルポインタを使うときと同様、mallocの戻り値がNULLになっていないかどうか確認しましょう。(NULLならメモリ確保に失敗しています。)
ご回答ありがとうございます。
DBMSってそんなに高いものではないのですね。
てっきりものすごく高価なプログラムなのかと思っていたのですが...。ちょっくらヨドバシにでも行ってきます。
後半の指摘、ごもっともです。今思うと、最近茫然自失としている時があったり朝目覚める時間が普段より遅かったりペースがすっかり乱されていました。
まあ、あまり自分を追い込まずうまくやりたいと思います。
No.3
- 回答日時:
> メモリの確保に問題があるということになるのでしょうか?
直接的にはそのとおり、メモリの確保に問題があります。特に、
(1) 文字列の扱い
(2) 配列とポインタ
に関して何か誤解されているようです。
> 都道府県名を二次元配列で取っているのは、都道府県名が「大阪府」などと、CSVファイル上で日本語で記載されているからです。
Windows上で日本語を扱うときは、charではなくて、.NET使ってよいなら string型を使うか、従来通りなら TCHAR 型を使うのが定石だと思います。
「文字コード」という概念をご存知でなければ、Unicode、Shift JIS、EUC-JPなどをキーワードに検索してみてください。
参考:
http://www.usefullcode.net/2006/11/tcharlpctstrl …
続いて、
> char *place[NUM][15];
> place[NUM][15]=(char*)malloc(sizeof(char)*NUM);
これがもう滅茶苦茶。
そんなことをするより、最初の目的が
> CSVファイル上の4列目に記載されている都道府県名のデータを配列で取り、画面に表示
でしたら、150万行も都道府県名を画面上で見るど考えられないので、重複する都道府県名は無視すると仮定して、次のようなプログラムにすれば巨大なメモリを確保する必要もなくなるものと思います。
(1) CSVファイルから1行読み取る。
(2) 4列目から都道府県名を取り出す。
(3) (2)で取り出した取り出した都道府県名が、読み込み済み都道府県名のリストにあるか検索する。
すでにある場合、読み捨てる。
まだない場合、読み込み済み都道府県名のリストに追加する。
(4) 全ての行を読み終えるまで、(1)~(3)を繰り返す。
全ての行を読み終えたら、(5)に進む。
(5) 読み込み済み都道府県名のリストを画面に表示する。
上記の(3)は、最大150万×47回の文字列比較をすると処理時間が膨大になりますから、処理速度を向上するためにはちょっとした工夫が必要です。
以下、独り言。
AccessやSQL ServerみたいなDBMS使えるなら、DBMSに食わせて吐き出させた方がいろいろと応用が利いていいかも。
私ならExcel使って4行目に対してフィルタかければ、ソースコードを1行も書かずに終わり。
事細かにご回答いただき、誠にありがとうございます。
文字コードの件、参照していただいたURLが非常に参考になりました。
漠然とは知っていたつもりだったのですが、今となっては自分の不勉強さを恥じる気持ちで一杯です。もっと勉強しなければいけませんね。
さて、なぜ都道府県名を全部表示しようとしているかとのことなのですが、最終的に何をしようとしているかといいますと、CSV形式のデータから全体を読み込み、商品名と時系列によってソートをかけ全体のデータを行ベクトルごとに並べ替えることを目的としています(もとはばらばらに並んでいるものを下のような感じにしたいです)。
19991001 vodka & cavier ...(その他の列ベクトル)
19991002 vodka % cavier ...
...
19991001 wine coldvier ...
19991002 wine coldvier ...
ただ、今回質問させていただくにあたりまして、プログラムがあまりに長くても仕方がないということで、一番引っかかってた都道府県名という部分だけを抜き出して、「なぜ全体を読み込めないのか」という質問に変えて掲示させていただきました。
説明不足であったことを深くお詫び申し上げます。
それを踏まえますと、ご回答いただきました(1)~(5)のステップは商品名ごとにソートする際に非常に役に立つと思います。特に、都道府県名と違って商品につきましては何種類含まれているのかわからないもので、こうやるしかないですよね...。
またExcelの件、その通りなんですよね。
ただ、実は今回のデータ分析は研究目的で行っておりまして、将来的にはさらに大規模なデータを処理する可能性があるからということで、教授に他のソフトウェアを使うのを禁じられています。そのため、これまで使ったことのないC++でなんとかしようとしているのですが、徹夜続きでもう嫌になっています...。
と、愚痴ってもしかたないですね(笑)。
何とか教授に怒られないようにがんばりたいと思います。
最後になりましたが、親切に説明していただき、本当にありがとうございました。
No.2
- 回答日時:
> char *place[NUM][15];
> place[NUM][15]=(char*)malloc(sizeof(char)*NUM);
たぶんこの辺でとんでもない勘違いをしているかと。
何をしようとしていますか?
この回答への補足
ご回答いただき、本当にありがとうございます。
該当箇所ですが、上段は「文字列の配列は二次元でとれ」と本に書いてあったのでその通りにしてみました。
それで下段なのですが、その分のメモリを確保しなければいけないと思い書いた文なのですが、この書き方がまずいのでしょうか?
![](http://oshiete.xgoo.jp/images/v2/common/profile/M/noimageicon_setting_15.png?5a7ff87)
No.1
- 回答日時:
ぱっと見で、NUMが1万の時に1.5GBのメモリを確保
NUMが10万の時に150GBのメモリを確保しているように思えますが。。。
とりあえずNUMが1万のときのメモリ使用量をタスクマネージャで見てみては
早速ご回答いただき、誠にありがとうございます。
一応タスクマネージャを確認したのですが、そんなにやばいことにはなっていませんでした。
回答をまた質問で返すようで申し訳ないのですが、その後インターネットで色々調べていた所、Windowsの32bit版であったりVisual C++のExpress Editionであったりすると、そもそもメモリの使用量が制限されるとの情報に出くわしたのですが、そういうことって本当にあるのでしょうか?
お恥ずかしながらどちらにも該当しているもので...。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- C言語・C++・C# c言語の問題の説明、各所ごとに 5 2023/07/26 11:03
- C言語・C++・C# プログラミングの授業の課題です 1 2023/01/17 22:15
- C言語・C++・C# このプログラミング誰か教えてくれませんか 1 2022/06/02 15:27
- C言語・C++・C# C言語プログラム変更 2 2022/12/21 15:03
- C言語・C++・C# バイナリファイルをコピーするのにかかる時間を測りたいのですが実行するとFatel error:gli 2 2022/11/03 01:10
- C言語・C++・C# c言語の問題です 3 2023/01/10 16:15
- C言語・C++・C# c言語 プログラムのエラー 1 2023/02/11 20:31
- C言語・C++・C# 質問です 下記のコードを分かりやすく解説お願いします 初心者です #include ‹stdio.h 3 2022/05/26 22:03
- C言語・C++・C# C言語で再起関数とポインタを用いて文字列反転をする方法がわかりません。 4 2023/04/29 20:32
- C言語・C++・C# C言語 プログラミング 4 2022/05/22 11:53
関連するカテゴリからQ&Aを探す
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
指定したメモリアドレスの値の...
-
MFCのCStringについて
-
newしないオブジェクトについて
-
C++で、メンバもヒープに確保さ...
-
GetCommandLineを使用しました。
-
malloc呼び出し時のセグメンテ...
-
mallocについて
-
ヒープメモリの解放について
-
プログラムが途中で強制終了し...
-
LPTSTR型の変数に文字を格納
-
構造体のメモリ確保のキャスト...
-
テキストファイルを二次元配列に
-
16進ダンプのプログラム
-
2次元配列の動的確保について
-
確保という言葉の使い方について
-
構造体配列の初期化について
-
構造体リストの使い方について
-
自作のstrcatが動かない件
-
アンマネージド関数でのメモリ...
-
new領域確保について
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
c言語のポインタへの文字列入力...
-
mallocについて
-
newしないオブジェクトについて
-
allocってなんですか?
-
配列の添え字の最大数とは?
-
ヒープメモリの解放について
-
プログラムが途中で強制終了し...
-
Accessで、メモリを開放するタ...
-
malloc呼び出し時のセグメンテ...
-
ビットをローテートするプログ...
-
C++で、メンバもヒープに確保さ...
-
void*型のデータサイズ
-
入れ子になった構造体について
-
C言語に関する質問
-
スタック破壊の上手な見つけ方...
-
mallocで確保するメモリの領域...
-
C++のnewで確保したメモリーの...
-
指定したメモリアドレスの値の...
-
ヒープ領域の限界値設定
-
構造体でchar name[]と*nameの...
おすすめ情報