エントロピーを求める問題

事象系A=｛a1,a2}および事象系B={b1,b2}において、結合確率P(a1,b1)=0.1,P(a1,b2)=0.2,P(a2,b1)=0.3,P(a2,b2)=0.4が与えられているとき事象系AとBのエントロピーH(A),H(B)を求めなさい。

この問題の解き方がわかる方教えてください。

No.2 ベストアンサー 回答者： alice_44 回答日時： 2013/04/30 19:34

P(a1) = P(a1,b1) + P(a1,b2),

P(a2) = P(a2,b1) + P(a2,b2),
P(b1) = P(a1,b1) + P(a2,b1),
P(b2) = P(a1,b2) + P(a2,b2).

H(A) = - P(a1) logP(a1) - P(a2) logP(a2),
H(B) = - P(b1) logP(b1) - P(b2) logP(b2).

というだけなんだけどな。

log の底は、教科書や講義によって
e の場合と 2 の場合があるから、
自分とこのを要確認。

この回答へのお礼

回答ありがとうございます。結合確率について教科書にほとんど載っていなかったため苦戦していましたがとても助かりました。

お礼日時：2013/05/01 21:58

No.1 回答者： alice_44 回答日時： 2013/04/29 22:38

地道に定義どおり…

周辺確率 P(a1), P(a2), P(b1), P(b2) を求めて、
H(A), H(B) の定義式へ代入する。
どこが解らないの？ やったことを
補足に書いてごらんよ。