ごめんなさい。 シャノンの補助定理で、 -Σ(p/ln2)ln(q/p) で、q/pが1よりちいさい

ごめんなさい。

シャノンの補助定理で、

-Σ(p/ln2)ln(q/p)

で、q/pが1よりちいさいから、Σの中が負になるので、マイナスをつけ、正にしている。
と想いますけど、なんで1より小さくなりますか？

No.4 ベストアンサー 回答者： xs200 回答日時： 2022/09/07 12:09

pとqは確率ですから

Σ (q-p)=Σ q - Σ p=1-1=0
です

この回答へのお礼

ありがとうございます。すさ

お礼日時：2022/09/07 12:12

No.3 回答者： xs200 回答日時： 2022/09/06 15:10

有名な不等式である ln x≦x-1 を利用します

Σ p log(q/p)≦Σ p(q/p-1)/ln 2=Σ (q-p)/ln2=0
(logの底は2)
証明終

この回答へのお礼

ありがとうございます。どうして、最右辺は、0になりますか？

お礼日時：2022/09/06 18:42

No.2 回答者： t_fumiaki 回答日時： 2022/09/06 11:28

pは確率だからp>0。

対数の真数<1の場合は対数の値はマイナス。

対数は指数の逆演算だから、10⁻²=1/10²=0.01
10⁻²=0.01の逆演算が、-2=log₁₀0.01

この関係は底がeの場合も同じ。

∴(p/ln2)ln(q/p)<0

この回答へのお礼

ありがとうございます。でも、q/pが1より小ささいことは示せていないと思います。

お礼日時：2022/09/06 11:37

No.1 回答者： Tacosan 回答日時： 2022/09/06 10:24

p とか q とかって, いったいなに?

この回答へのお礼

pは情報源の確率で、qはたすと１以下になる、任意の非負の数です。
ただし, pi≠0のときはqi≠0とする。

お礼日時：2022/09/06 11:03