エントロピー

あるテストをA組，B組（どちらも100人）で行った結果が表のようになった。

この時、点数を70点以上（未満）で分割した場合のエントロピーを求めたいです。
おしえてください。

No.2 ベストアンサー 回答者： yhr2 回答日時： 2024/07/16 11:25

No.1 です。

お使いのテキストによっては、対数の底が「2」ではなく、「10」（常用対数）だったり、「e」（自然対数）だったりするかもしれません。
底が「２」の場合には、情報数を W とすれば、情報エントロピーは
　S = log[2](W)
だ定義され
　W = 2^S
ですから「S は情報数 W を2進数で表現した場合のビット数」に相当します。

この「情報数 W」に相当するものが「確率 p の逆数 1/p」になっています。
確率の小さいものほど「たくさんの場合の数がある」ということです。
確率 1/100 なら「100の場合の中の1つ→情報量は100」、確率 1/1000 なら「1000の場合の中の1つ→情報量は1000」ということ。

具体的な数値は関数電卓がないと求められませんが、今ならスマホのアプリにもあります。

Ａ組における「70点以上」のエントロピーは
　HA(↑) = log[2](1/0.6) = log(1/0.6) / log(2) ≒ 0.737
Ａ組における「70点未満」のエントロピーは
　HA(↓) = log[2](1/0.4) = log(1/0.4) / log(2) ≒ 1.322
Ｂ組における「70点以上」のエントロピーは
　HB(↑) = log[2](1/0.3) = log(1/0.3) / log(2) ≒ 1.737
Ｂ組における「70点未満」のエントロピーは
　HB(↓) = log[2](1/0.7) = log(1/0.7) / log(2) ≒ 0.515

全体から見れば
・Ａ組かつ70点以上：60/200 = 0.3
　H(A|↑) = log[2](1/0.3) = log(1/0.3) / log(2) ≒ 1.737
　これが H(A) = -log[2](1/2) = 1 なので
　　H(A|↑) = H(A) + HA(↑) = 1 + 0.737
　になっていることが分かります。

・Ａ組かつ70点未満：40/200 = 0.2
　H(A|↓) = log[2](1/0.2) = log(1/0.2) / log(2) ≒ 2.322
　これが H(A) = 1 より
　　H(A|↓) = H(A) + HA(↓) = 1 + 1.322
　になっていることが分かります。

・Ｂ組かつ70点以上：30/200 = 0.15
　H(B|↑) = log[2](1/0.15) = log(1/0.15) / log(2) ≒ 2.737
　これが H(B) = -log[2](1/2) = 1 なので
　　H(B|↑) = H(B) + HB(↑) = 1 + 1.737
　になっていることが分かります。

・Ｂ組かつ70点未満：70/200 = 0.35
　H(B|↓) = log[2](1/0.35) = log(1/0.35) / log(2) ≒ 1.515
　これが H(B) = 1 より
　　H(B|↓) = H(B) + HB(↓) = 1 + 0.515
　になっていることが分かります。

全体の中での「70点以上」「70点未満」は
・70点以上：(60 + 30)/200 = 0.45
　H(↑) = log[2](1/0.45) = log(1/0.45) / log(2) ≒ 1.152
・70点以上のうちで「Ａ組」である確率は
　　60/90 = 2/3
　なので
　　H(↑|A) = log[2](1/(2/3)) = log(3/2) / log(2) ≒ 0.585
・よって、Ａ組における「70点以上」は
　　H(A|↑) = = H(↑) + H(↑|A) = 1.152 + 0.585 = 1.737
となることが分かります。

「70点未満」「Ｂ組」も同様です。

No.1 回答者： yhr2 回答日時： 2024/07/14 12:11

おそらく「情報理論」か何かを勉強していての「情報エントロピー」だと思うので、テキストで考え方や定義をしっかり復習（一度も勉強していないのなら「学習」）してください。

Ａ組でいえば
・70点以上：60/100 = 0.6
・70点未満：40/100 = 0.4
Ｂ組でいえば
・70点以上：30/100 = 0.3
・70点未満：70/100 = 0.7
全体で見れば
・Ａ組かつ70点以上：60/200 = 0.3
・Ａ組かつ70点未満：40/200 = 0.2
・Ｂ組かつ70点以上：30/200 = 0.15
・Ｂ組かつ70点未満：70/200 = 0.35

情報エントロピーの定義は
　H(X) = log[2](1/P(X)) = -log[2](P(X))
なので、「70点以上」を「↑」、「70点未満」を「↓」で表わせば

Ａ組における「70点以上」のエントロピーは
　HA(↑) = log[2](1/0.6)
Ａ組における「70点未満」のエントロピーは
　HA(↓) = log[2](1/0.4)
Ｂ組における「70点以上」のエントロピーは
　HB(↑) = log[2](1/0.3)
Ｂ組における「70点未満」のエントロピーは
　HB(↓) = log[2](1/0.7)
などなど。

「数値で求めよ」なのでしょうから、関数電卓で体数の値を計算しなければいけませんね。
頑張って！

ちなみに、Ａ組である確率は 100/200 = 0.5 なので
　H(A) = log[2](1/0.5) = log[2](2) = 1

Ａ組の「70点以上」は、
　H(A|↑) = log[2](1/0.3)
ですが、これは
　log[2](1/0.3) = log[2](2/0.6) = log[2](2) + log[2](1/0.6)
　　　　　　　　= H(A) + HA(↑)
なので
　H(A|↑)= H(A) + HA(↑)
となることが分かります。
「↓」や「Ｂ組」も同じです。

各々の数値を求め、そうなることを確認する練習問題でしょう。