単純マフコフ情報源のエントロピー

単純マフコフ情報源のエントロピーの式のイメージがいまいちつかめません。

H(Xt) = H(Xt|Xt-1)

ということで、一つ前の生起した記号がわかっている条件下でのXt、ということだと思うのですが、なぜ条件付きエントロピーにするのでしょうか？

よろしくお願いします。

No.1 ベストアンサー 回答者： kuma_2008#2 回答日時： 2008/06/14 13:42

まず、

「単純マフコフ」→「単純マルコフ」ですね？

単純マルコフの定義は、
http://www.akita-pu.ac.jp/system/elect/comp1/kus …
にあるように、
P(Xt|Xt-1)
つまり、「直前の生成された記号よって、次記号の発生確率が変化
する情報源」です。

エントロピーはＰの関数ですので、
H(Xt) = H(Xt|Xt-1)
となります。
従って、単純マルコフの定義から来るものです。

ちなみに、
エントロピーの定義は、
http://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1% …
にあります。

この回答へのお礼

回答ありがとうございます。

お礼日時：2008/06/15 02:16