スレッド？

Question

プロセス間で共有できるメモリの使い方を教えてください。
(システムコールshmget、shmat、shmdt以外で。)
使用例など有りましたら是非お願いします。

kaz-sugi · Accepted Answer

shmでメモリを共有した時に、プロセス数＊共有メモリサイズを使用するということはありません。 LinuxのOSとしてのメモリ管理の内部実装はよくは知りませんが、今時のまっとうなUNIXであれば、共有メモリの実装は、１つのメモリオブジェクトを複数のプロセスからポイントする、というように実装されているかと思います。普通の状態では、仮想アドレス空間から物理アドレス空間への変換テーブルをプロセスごとユニークなものを持ちます。メモリオブジェクトとはその変換テーブルを管理するOS内の資源の単位で、おおざっぱに言えば、プロセスが使用するメモリ空間の、テキスト領域(プログラムのコードを格納する領域)、データ領域(グローバル変数を格納する領域)、スタック領域(ローカル変数を格納する領域)、という単位でオブジェクトが作られます。つまり、１プロセスにつき、この３種類の領域に対応する３つのメモリオブジェクトへのポインタを持っていて、それぞれのオブジェクトは変換テーブルを持ちます。別プロセス間でメモリを共有するという状態は、共有している領域へのメモリオブジェクトへのポインタが同じメモリオブジェクトを指している状態であります。ですから、メモリオブジェクトはまさに「共有／共用」されており、プロセス数分メモリを消費するということはありません。但し、わずかですが管理領域分はプロセス数分使うでしょう。。あと、cloneで作成した子プロセスが親プロセスより先に終了するとご指摘のとおりdefunct(ゾンビ)ができます。こいつを消すには親がwaitしてあげるしかなさそうです。。。 signal(SIGCHLD, SIG_IGN)をしてみましたが、ダメでしたね。。。 pthread_createで作られたスレッド(cloneプロセス)では、 pthreadライブラリの中で上手に解決しているらしく、 defunctはできませんでしたので、こちらを使うほうがお手軽のようです。もう、ここまできたらついでなので、サンプルを紹介します。 -- clone --- #include #include char stk[4096]; main() { int xx(); int arg[1]; signal(SIGCHLD, SIG_IGN); arg[0] = 555; __clone(xx, stk+4096, CLONE_VM|CLONE_SIGHAND, (void *)arg); while (1); } int xx(void *arg) { int x; x = (int)((int *)arg)[0]; printf("x=%d ", x); } -- clone --- 単にccして、実行できます。親側はwhileで止まっていますので、ps -ef で見ると defunctが残っているのがわかります -- pthread -- #include int main() { void *xx(); pthread_t pth; int arg[1]; arg[0]=555; pthread_create(&pth, NULL, xx, (void*)arg); while (1); } void* xx(void *arg) { int x; x = (int)((int *)arg)[0]; printf("x=%d ", x); } -- pthread -- ccするときに、-lpthread を指定してください。同じように親は止まっていますが、今度はゾンビがないのがわかると思います。 -- shmget/shmat メモリ提供側 -- #include #include #include #include #define DSIZE 1000000 int main(int argc, char **argv) { key_t key = 123; int shmid; int *p; int i; if (argc > 1) key = atoi(argv[1]); if ((shmid = shmget(key, sizeof(int)*DSIZE, IPC_CREAT|SHM_R|SHM_W)) == -1) { fprintf(stderr, "Can't get shmid "); exit(1); } printf("shmid=%d ", shmid); if ((p = (int*) shmat(shmid, 0, SHM_RND)) == (int*)-1) { fprintf(stderr, "Can't attach shmid "); exit(1); } printf("p=%08x ", p); for (i = 0; i < 100; i++) { *p = i; p++; } while (1); return 0; } -- shmget/shmat メモリ提供側 -- -- shmget/shmat メモリ共有側 -- #include #include #include #include #define DSIZE 1000000 int main(int argc, char **argv) { key_t key = 123; int shmid; int *p; int i; if (argc > 1) key = atoi(argv[1]); if ((shmid = shmget(key, sizeof(int)*DSIZE, SHM_R)) == -1) { fprintf(stderr, "Can't get shmid "); exit(1); } printf("shmid=%d ", shmid); if ((p = (int*) shmat(shmid, 0, SHM_RND)) == (int*)-1) { fprintf(stderr, "Can't attach shmid "); exit(1); } printf("p=%08x ", p); for (i = 0; i < 100; i++) { printf("%d ", *p); p++; } shmdt(p); return 0; } -- shmget/shmat メモリ共有側 -- 単にccで実行できます。端末を２つ開いて、提供側を実行しておいてから、共有側を実行すると、値が共有されているのがわかると思います。数千のプロセスですか、ネットワーク対戦ゲームでも作成されるのでしょうか？楽しみですね。ところで、数千のプロセスはたぶんシステムのプロセス数上限にあたり実行できないと思います。上限設定を変えて実行できたとしても、Linuxはプロセススケジューラがガタガタなので、まともに動作しないでしょう。工夫が必要です。

kaz-sugi · Answer

Linuxの話で良いようですね。。。

お近くにLinuxが使えるＰＣがあれば、その端末で
「man clone」にてcloneシステムコールの使い方などが
ごらんになれると思います。
それによると、残念ながらcloneで並列化できるのは、
関数のみで、実行ファイルは呼び出せません。

cloneのあとにexecシステムコールを呼び出すことで、
実行ファイルは呼び出せるでしょうが、もはやメモリの
共有はなくなります。

cloneやpthread_createにて作られるメモリの共有関係ではない
共有メモリをご使用になりたいのであれば、shmやmmapを
使うしかないと思います。
単にプロセス間通信をしたいのであれば、pipeや、socketという
手もあります。

何をされたいのかよくわかりませんが、別の実行ファイルを
呼び出した上で、それとの間で共有メモリ、、ということであれば、
スレッドの話は関係ないかと思います。
どうしてshmを使いたくないのかわかりませんが、、、
もしかして面倒なのですか？
shmgetや、mmapをmanでごらんになってみてください。

UNIXやLinuxでのプログラミングを解説している本を１冊
読んでみるのも良いかと思います。

cloneで作ったプロセス間で、pthread_mutex_lock等が有効に
機能するかどうかは知りません。。。
動くかもしれませんね。


ちなみに、おせっかいですが、題になっている「スレッドとは？」

cloneやpthread_createで作られるスレッド
(Linuxではライトウェイトプロセスと言ったほうが良いのかも
しれませんが)とは、CPUの割り当てられる実行の単位です。
Machオペレーティングシステムでは、スレッドと対になる
概念としてタスクがあり、タスクとはメモリ空間や、
ファイルディスクリプタなどのプログラムの実行の環境のことを
差します。

スレッドがタスクという資源を使って動作することにより、
CPUがメモリやファイルを参照しながら動作する、、というのと近い
イメージになります。
普通のUNIXでいうプロセスは、１タスクにつき１スレッドが対応している
ことになります。

「マルチスレッド」とは、１つのタスクの中に複数の
スレッドがある状態を指し、おのおののスレッドは、
タスクを共有するため、メモリを共有していることになります。

普通、マルチプロセスではなくマルチスレッドを使うのは、
プロセスよりも小さい単位で、処理を並列化したい場合に使用します。
これは、マルチCPUのコンピュータで大きな効果をあげるために
よく利用されます。
例えば、forループで10000回繰り返すような演算で、
１回ごとの処理は最終結果を出すところまで関連しない、、
なんて場合に、CPUが2個とか4個とかあれば、それぞれ5000回ずつとか、
2500回ずつ受け持つことで処理時間を短くできます。

普通、プロセスの切り替えよりもスレッドの切り替えのほうが
オーバーヘッドが小さいというのも、理由のひとつです。

Linuxのpthread_createは、その延長で結局はcloneシステムコールが
呼び出されます。
実は別のプロセスが作られていて(psコマンドでもそれは
確認できます)、１タスクに複数スレッド、、というイメージをは
違いますが、メモリを共有させることで、マルチスレッドと
同じような処理を行うことができるわけです。。。

さらに蛇足ですが、普通のUNIXではプロセスの生成には
forkシステムコールを使います。Linuxにもあります。
fork後の呼び出し元プロセスと生成されたプロセスの
メモリは参照においてのみ共有されています。。
ですが、お互いのメモリの書き換えは、相手には伝わりません。
cloneで作ったプロセス間ではそれが伝わる、という言い方もできるかも
しれません。

kaz-sugi · Answer

質問のタイトルからすると、マルチスレッドしたいのでしょうか・・・。

Linuxと仮定しますと、、
(下記のソースは概要であり、このまま動作しません)

#include <pthread.h>

#define NTHREADS 10  /* 適当 */
#define NARGS     5  /* 適当 */

pthread_t thread[NTHREADS];
pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;

int data = 5;  /* 適当 */

xxx()
{
  int i;
  int arg[NARGS];
  int yyy();

  for (i = 0; i < NTHREADS; i++) {
    arg[0] = i;   /* 適当 */
    pthread_create(&thread[i], NULL, yyy, (void*)arg);
  }
}

yyy(void *arg)
{
  int x;

  x = ((int *)arg)[0];

  pthread_mutex_lock(&mutex);
  data++;
  pthread_mutex_unlock(&mutex);
  printf("%d) %d
", x, data);
}

Linuxでは、スレッドの変わりにクローンプロセスというのができあがり、
見かけ上は、プロセス内に複数のスレッドができたのと同じように振舞わせるように、
pthreadライブラリがあり、それを上記のように使うと楽です。

スレッド(クローンプロセス)間では、スタック(ローカル変数)以外の、
データ(グローバル変数)は、共有されています。
(cloneシステムコールを使うと、もっと詳細に共有部分を設定できます)

共有しているデータへのアクセスの際に、
スレッド(クローンプロセス)間での同期をとるために、
pthread_mutex_lock/unlock を使用します。

上の例では、関数yyy()がマルチスレッド(クローンプロセス)により
実行されます。


ちなみに、
親子関係でないプロセス間で、本当の意味で共有メモリをするのであれば、
shmget/mat以外には、mmapというシステムコールがあります。

スレッド？

shmでメモリを共有した時に、プロセス数＊共有メモリサイズを

Linuxの話で良いようですね。

質問のタイトルからすると、マルチスレッドしたいのでしょうか・・・。

似たような質問が見つかりました

関連するカテゴリからQ&Aを探す

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング