C言語で巨大配列を作るにはどうすれば良いのでしょうか？

Question

テストで作ってみた配列を用いたプログラムが動かなかったので（コンパイルは正常）、なんでだろうと思って調べてみると、巨大な配列はcalloc関数等を用いて作る必要があると知りました。
しかし正直解説サイトを見てもよく意味が分かりませんでした…。

例えばA[1000][1000][1000]の様な配列は、どの様に作ればいいのでしょうか？
A[x][y][z]みたいに表現して、Aを変えて同じ様な配列を8個ほど作りたいです。

初心者なので勉強不足かも知れませんが、どうぞ宜しくお願い致します。

sha-girl · Accepted Answer

>計算対象の要素個数は3億個
32bit版Windowsの場合、1プロセスあたりの上限は2GBです。(OS全体でも約3.2GBが上限)
また仮に4GBのメモリーをのせていても、
mallocで1GBのメモリーが確保できるとは限りません。
(連続領域で確保しようとする為)

64bitアプリとして作成するのもひとつの方法ですが、
別の方法として
ファイルIOを使って、処理する事も可能です。
例えばint A[1000][1000][1000]
を扱いたいのであれば
a000、a001、a002・・・というファイルを1000個作成し、
それをメモリに見立てて使う方法があります。
1つのファイルには1000*1000の要素を格納します。
A[500][250][100]にアクセスしたいのなら
a500というファイルの250*100*sizeof(int)+100*sizeof(int)バイト目にシークしてアクセスする
方法です。

hiropuri · Answer

再び質問がありましたので再登場させて頂きました。すみません、自分が提示した方法は、サイト等で見かけたって事ではないので、解説サイトを提示できないのです。自分は利用した事がないですが、No.7(gentoo314さん)の教えて下さったファイルマッピングがいいかもしれませんね。ただ、言いっ放しでは申し訳ないので、ちょっとだけ書かせて頂きます。これは、メモリがショボかった時代に自分が使っていた手法です。 ※例を簡略化する為に2次元の小さい配列としています。 ※下記のコードはソラで書いているので、間違えてたらすみません。でもイメージは沸くと思います。 ---------------------------------------- もし short sArray[10][4] という配列を想定した場合、それをbyte配列にすると、 BYTE bArray[80]; となります。(BYTE = unsigned char) bArray を sArray のように扱う為に、以下の関数を用意します。 // 指定の x, y を元に、byte配列の位置を返す int GetPos(int x, int y) { return(x * 10 + y); } // byte配列の指定の位置に値を書き込む void SetValue(int x, int y, int v) { bArray[GetPos(x, y) ] = ( (v & 0xFF00) >> 8); bArray[GetPos(x, y) + 1] = ( v & 0x00FF ); return; } // byte配列の指定の位置から値を読み込む int GetValue(int x, int y) { int v = 0; v =(bArray[GetPos(x,y) ] << 8); v+= bArray[GetPos(x,y) + 1]; return(v); } 後は、 SetValue(1,2, 12345);// 書く int v = GetValue(1,2);// 読むみたいな感じで使います。今回の件ではファイルに吐き出す事になると思うので、GetPos に fseekを組み合わせて、あとはファイル相手にゴリゴリ処理する……という雰囲気。全く高度じゃない手法ですが、簡単な事だけが取り柄です（＾＾；

gentoo314 · Answer

巨大なデータをメモリアクセスする手法として、ファイルマッピングという方法があります。
データの実体はファイルですが、プログラムとしてはメモリアクセスで記述ができます。

例えば、4GB長のファイルを、500MBのウインドウを動かしながら、4GBのエリアをアクセスといった事が可能です。実メモリとしては500MBを消費します。

CreateFileMapping　で検索すればいろいろ参考になるページがあります。

sha-girl · Answer

すいません。訂正します。

>a500というファイルの250*100*sizeof(int)+100*sizeof(int)バイト目にシークしてアクセスする
>方法です。

250*1000*sizeof(int)+100*sizeof(int)
の間違えです。

hiropuri · Answer

ずいぶんメモリを使う処理なんですね（＾＾；
メモリ上で処理しきれない場合は、一度DBなりファイルなりに
吐き出して、それを処理する形にするしかないと思いますよ。

例を拝見する限りでは、扱いたいのは固定長配列という事
なのですよね？ならばいっその事、単純なbyte配列にして、
後はロジック側で対応するのも一案です。固定長ならば、
その処理も簡単ですので。あえて配列にする必要はないと
思いますし、byte配列の方がファイルに吐き出した時に
扱いが楽……かも？　もし自分ならばそう作っちゃいます。

ですが、これだと質問に対する答えでなく代替案ですよね。
もし配列にこだわる必要があるならスミマセン。

nak777r · Answer

calloc とか、解説サイト云々以前に、まず
A[1000][1000][1000] で確保されるメモリのサイズがどれくらいかわかりますか？
１キロバイト ＝         1,024 BYTE
１メガバイト ＝     1,048,576 BYTE(     1024*1024)
１ギガバイト ＝ 1,073,741,824 BYTE(1024*1024*1024)
Aの型はなんでしょう？ int ですか
だとすると、確保したいメモリは、およそ４ギガ
さらにそれを８個程つくるのですから、３２ギガ
BYTE型だとしても、およそ１ギガで８個なら８ギガ
それだけのメモリがある事前提での質問でしょうか？

D-Matsu · Answer

そんな巨大な配列で何をやりたいんでしょうか？
目的と手段を履き違えて、「巨大な配列を作る」こと自体が目的化していませんか？
そのあたりを踏まえて、一度再考した方がいいと思いますけど。

OSが書かれてないので参考程度ですが、32bit版Windowsのアプリケーション領域は4GBなので、たとえばAの型が4byte型だとA一つでほぼその全てを使い切ります。

titokani · Answer

>例えばA[1000][1000][1000]の様な配列は
charの配列だとしても、1000×1000×1000ですから約1GByte、
intの配列であれば約4GByteですから32BitOSでは無理です。

64BitOSだとしても、スワップしまくりで動作がかなり遅くなりそうです。
設計からみなおしたほうがいいでしょう。

C言語で巨大配列を作るにはどうすれば良いのでしょうか？

>計算対象の要素個数は3億個

再び質問がありましたので再登場させて頂きました。

巨大なデータをメモリアクセスする手法として、ファイルマッピングという方法があります。

すいません。

ずいぶんメモリを使う処理なんですね（＾＾；

calloc とか、解説サイト云々以前に、まず

そんな巨大な配列で何をやりたいんでしょうか？

>例えばA[1000][1000][1000]の様な配列は

似たような質問が見つかりました

このQ&Aを見た人はこんなQ&Aも見ています

関連するカテゴリからQ&Aを探す

このQ&Aを見た人がよく見るQ&A

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング