情報エントロピーの一様分布のシグマ計算

事象の数nにおいて、一様に確率が1/nとなる場合のエントロピー計算についての途中の計算式がわかりません。

H(A) = - Σ (1/n log (1/n))
= Σ (1/n log (n))
= ...
= log(n)

Σ記号が消えるまでの途中の計算式の詳細をご教授お願いします。

質問者からの補足コメント

• Σの範囲は、n = 0 ~ (n-1)です。

    補足日時：2023/09/04 14:07

• すみません、n = 0 ~ n-1です。

  No.2の回答に寄せられた補足コメントです。 補足日時：2023/09/04 14:11

No.1 ベストアンサー 回答者： stomachman 回答日時： 2023/09/04 13:52

H(A) = - Σ{k=1〜n} p[k] log(p[k])

ここで、どのk(k=1〜n)についてもp[k]が同じ値cである場合、
　　p[k] = c
を代入すると
　　H(A) = - Σ{k=1〜n} c log(c)
　　= - n (c log(c))
そして、その「同じ値c」とは
　　c = 1/n
である。これを代入。

この回答へのお礼

ありがとうございます！
Σの順番と値と個数を混同してしまっていました。

以下のリンクを参考に、一様分布のエントロピーがlog(n)で最大になることも納得しました。
https://edu.isc.chubu.ac.jp/hsuzuki/iip/entropy/ …

お礼日時：2023/09/04 15:51

No.5 回答者： t-8maki 回答日時： 2023/09/04 15:25

添字をn以外といいつつnを使っちゃったんで修正投稿します。

一様分布なので1/nは変化しません。
Σはn以外の添字を使わないといけないですね。
H(A)=-Σ[i=0→(n-1)]{(1/n)log(1/n)}
=-(1/n)log(1/n)Σ[i=0→(n-1)]{1} (※ｎは固定値なので前に出せる)
=-(1/n)log(1/n){n}
=-log(1/n)
=log(n) (※log(1/n)=log(1)-log(n)=-log(n))
という計算になります。

No.4 回答者： t-8maki 回答日時： 2023/09/04 15:15

一様分布なので1/nは変化しません。

Σはn以外の添字を使わないといけないですね。
H(A)=-Σ[n=0→(n-1)]{(1/n)log(1/n)}
=-(1/n)log(1/n)Σ[n=0→(n-1)]{1} (※ｎは固定値なので前に出せる)
=-(1/n)log(1/n){n}
=-log(1/n)
=log(n) (※log(1/n)=log(1)-log(n)=-log(n))
という計算になります。

No.3 回答者： stomachman 回答日時： 2023/09/04 14:36

No.1へのコメントについて

> Σの範囲は、n = 0 ~ (n-1)です。

ずいぶん変なことを仰るが、だったら、
　　k = 0〜 (n-1)
と読み替えてくださいな。

No.2 回答者： ありものがたり 回答日時： 2023/09/04 13:53

Σ の範囲はなんだろな？