情報理論

情報源 エントロピー いついて

S: H1(S), H1n(S), H(S)
S^n: H1(S^n), Hn(S^n), H(S^n)

で、H1(S^n)=nH1(S) で、Hn(S^n)=H1(S)
のあとに、
H1(S)=H(S)
といえる理由をおしえてください。

No.2 ベストアンサー 回答者： xs200 回答日時： 2022/11/29 13:40

H1(S^n)/n はSのn次エントロピーと呼び、Hn(S)と表記します。

n次エントロピーの極限は lim(n->∞)Hn(S)=lim(n->∞)H1(S^n)/n であり、H(S)と表記します。

記憶のない定常情報源ではn次エントロピーは1次エントロピー(H1(S))に等しい。
n次エントロピーの極限は系列を長時間観測したときの1記号あたりの平均情報量であり、記憶のない定常情報源では1次エントロピー(H1(S))に等しい。
なのでH1(S)=H(S)。

この回答へのお礼

ありがとうございます。そのとおりとおもいまいした。

お礼日時：2022/11/29 15:39

No.1 回答者： HONTE 回答日時： 2022/11/29 09:56

貴方はどう考えましたか？