平均符号長とエントロピーとの差を求めたい

エントロピーとの差を求め方について教えて下さい。

情報源記号A,B,C,D をそれぞれ確率0.5, 0.25, 0.2, 0.05で出力する定常情報源 S を考える．この情報源 S に対するハフマン符号を構成する．また，その符号に対する平均符号長を求め，情報源 S のエントロピーとの差を求める．

No.1 回答者： xs200 回答日時： 2020/10/15 17:34

ハフマン符号(ハフマン符号木を書いてください)

A 0
B 10
C 110
D 111

平均符号長
0.5*1+0.25*2+0.2*3+0.05*3
=1.75

エントロピー
-0.5 log 0.5 + -0.25 log 0.25 + -0.2 log 0.2 + -0.05 log 0.05 (すべて底は2)
≒1.68