情報量とエントロピーについて

以下の問題がわからないです。

天気を晴れ、雨の２種類とします。実際の天気Aを、通信路に置ける送信記号a1(晴れ)、a2(雨)と考え、天気予報Bを受信記号b1(晴れ)、b2(雨)とします。
いま、
p(a1)=0.57, p(a2)=0.43,
p(b1|a1)=0.75, p(b1|a2)=0.30,
p(b2|a1)=0.25, p(b2|a2)=0.70,
であるとき、相互情報量 I (A:B) を小数点第３位まで求めなさい。


H(B|A)は求めれたのですが、H(B)がわからないです。

No.2 回答者： Ae610 回答日時： 2017/05/13 13:23

ANo.1です・・!

・・だとするならば
H(B)=-{p(b1)log[p(b1)]+(1-p(b1))log[(1-p(b1))]}
・・で計算する(・・しても良い!?)ことになるかな
(一応与えられた数値でp(b2)を計算してp(b2)=1-p(b1)にはなっている!)

何れにしろ誤解答　申し訳ない m(_ _)m

No.1 回答者： Ae610 回答日時： 2017/05/13 09:23

相互情報量の対称性の性質より

I(A:B)=I(B:A)=H(B)－H(B|A)

予報段階では"晴れ"も"雨"も等確率であると考えられるので
H(B) = -{1/2・log(1/2)+1/2・log(1/2)} =1　(logの底は2)

よってI(A:B) = 1－H(B|A)
で計算できると思う・・!

この回答へのお礼

ありがとうございます。
本日、教授に質問してきました。

H(B)はp(b1)とp(b2)がわかれば求めれます。
なので、ベイズの定理の分母より、p(b1)＝Σp(ai)*p(b1|ai)　よりp(b1)とp(b2)が求めれるみたいです。

お礼日時：2017/05/13 12:11