エントロピーの問題

これわかる人いますか？

【問題】
6次元のカテゴリ分布 Cat(s|π) に従って1から6の目が出る２つのサイコロPとQがあります。

一方のサイコロPは、6の目が他の1から5の目の2倍でやすく、パラメータ π は

(π1,π2,…,π6)T=(17,…,17,27)T で与えられ、この分布を p(s) と書くことにします。

他方のサイコロQは、1の目が他の2から6の目の2倍でやすく、パラメータ π は (π1,π2,…,π6)T=(27,17,…,17)T で与えられ、この分布を q(s) と書くことにします。



以下の各値を求めなさい。

問２－１　
　 q のエントロピー： H[q]=？

問２－２
　 q と p の交差エントロピー： −<logp>q=？

問２－３
　 q と p のＫＬダイバージェンス： KL[q||p]=−H[q]−<logp>q=？

No.1 回答者： yhr2 回答日時： 2021/05/20 20:28

テキストを見て、自分でやってみなされ。

答案を書けば、親切な人が添削してくれるでしょう。

丸投げは自分のためになりません。