平均情報量を求める問題ですが。。。。

大学で情報処理の授業を取っているのですが、数学苦手なので全く解き方が分かりません。ご存知の方ぜひ助けていただきたいです。
ありがとうございます
問題です：

a:8.1%b:2.3%c:4.6%d:3.5%e:12.6%f:2.6%
g:2.0%h:4.4%i:7.9%j:0.5%k:0.5%i:4.0%
m:3.2%n:6.1%o:7.2%p:2.4%q:0.7%r:5.7%
s:6.0%t:8.5%u:2.9%v:1.2%w:1.0%x:0.9%
y:1.0%z:0.2%
アルファベットの出現の確率の平均情報量を求めよ

No.2 回答者： f272 回答日時： 2009/06/18 19:54

もし

8.1%*{-log(2/26)} + 2.3%*{-log(2/26)} + ... + 0.2%*{-log(2/26)} =エントロピー
だとしたら{-log(2/26)}の部分は同じなのだから、それをまとめて
（8.1% + 2.3% + ... + 0.2%）*{-log(2/26)} =エントロピー
と書けるはずだけど、（）の中身は計算したらわかる通り、1に等しいわけです。（実は計算しなくても確率を全部足せば1になることは当然ですね。）
すると
{-log(2/26)} =エントロピー
となってしまうわけだけど、本当にこれで正しいと思いますか？

事象Aの起こる確率がPのとき、その情報量は-logPであり、平均情報量とはその期待値であってΣ(P*(-logP))のことです。ただしlogの底は普通は2にしますし、Σはすべての場合を加えるという意味です。計算すると4.244くらいになるのでやってみてください。

No.1 回答者： f272 回答日時： 2009/06/18 11:46

大学で情報処理の授業で「情報量」「平均情報量」をどのように定義していたのか？それをちゃんと言えるのならば、後はその定義に従って計算するだけです。

まあ、計算自体も筆算でやるなら大変ですが、例えばMSエクセルを使えば簡単ですね。
ということで「平均情報量」とは何か、を補足に書いてみてください。

この回答へのお礼

f272さん、ありがとうございます
平均情報量、つまりエントロピーを求めることだと思います。
私はこういう風に考えているのですが、正しいかどうかは全く自信がありません。
8.1%*{-log(2/26)} + 2.3%*{-log(2/26)} + 4.6%*{-log(2/26)} + 3.5%*{-log(2/26)} + 12.6%*{-log(2/26)} + 2.6%*{-log(2/26)} + 2.0%*{-log(2/26)} + 4.4%*{-log(2/26)} + 7.9%*{-log(2/26)} + 0.5%*{-log(2/26)} + 0.5%*{-log(2/26)} + 4.0%*{-log(2/26)} + 3.2%*{-log (2/26)} + 6.1%*{-log(2/26)} + 7.2%*{-log(2/26)} + 2.4%*{-log(2/26)} + 0.7%*{-log(2/26)} + 5.7%*{-log(2/26)} + 6.0%*{-log(2/26)} + 8.5%*{-log(2/26)} + 2.9%*{-log (2/26)} + 1.2%*{-log(2/26)} + 1.0%*{-log(2/26)} + 0.9%*{-log(2/26)} + 1.0%*{-log(2/26)} + 0.2%*{-log(2/26)} =エントロピー

お礼日時：2009/06/18 12:48