通信路容量を求める問題

通信路行列が

T=
|0.6 0.3 0.1|
|0.3 0.1 0.6|
|0.1 0.6 0.3|
で与えられる通信路の通信路容量の求め方をわかりやすく教えてください。

No.2 ベストアンサー 回答者： info22_ 回答日時： 2013/07/09 03:01

2元対称通信路の通信路容量については沢山例題や参考URLが見つかりますが、3元対称通信路の通信路容量については殆ど見当たりませんね。

なので大学の情報関係や通信関係の授業でしっかりノートをとって先生にしっかり食い下がって質問してモノにするのが一番いいかもしれません。
参考URLにも2元対称通信路の通信容量については詳しく載っています。
それを3元対称通信路に拡張して通信容量を求めれば良いだけです。
ただ、元数が増加すると通信路容量を求める基になる相互情報量を最大化する変数の個数が増えてとたんに通信路容量を求めることが困難になります。

送信側を
X=(p1,p2,1-p1-p2) ...(1)
受信側を
Y=(q1,q2,q3) ...(2)
とすると
T=
(t11,t12,t13)
(t21,t22,t23)
(t31,t32,t33) ...(3a)
=
(0.6 0.3 0.1)
(0.3 0.1 0.6)
(0.1 0.6 0.3) ...(3b)
より
Y=XT ...(4a)
=(0.6p1+0.3p2+0.1(1-p1-p2),0.3p1+0.1p2+0.6(1-p1-p2),
0.1p1+0.6p2+0.3(1-p1-p2))
=(0.5p1+0.2p2+0.1,-0.3p1-0.5p2+0.6,-0.2p1+0.3p2+0.3) ...(4b)
=(q1,q2,q3) ...(4c)

YのエントロピーH(Y)は
H(Y)=-q1log2(q1)-q2log2(q2)-q2log2(q3) ...(5a)
=-(0.5p1+0.2p2+0.1)log2(0.5p1+0.2p2+0.1)-(-0.3p1-0.5p2+0.6)log2(-0.3p1-0.5p2+0.6)-(-0.2p1+0.3p2+0.3)log2(-0.2p1+0.3p2+0.3) ...(5b)

YのXによる条件付きエントロピーH(Y/X)は
H(Y/X)=-Σ(i=1,3)piΣ(j=1,3)tijlog2(tij) ...(6a)
=-p1{0.6log2(0.6)+0,3log2(0.3)+0.1log2(0.1)}
-p2{0.3log2(0.3)+0.1log2(0.1)+0.6log2(0.6)}
-(1-p1-p2){0.1log2(0.1)+0.6log2(0.6)+0.3log2(0.3)} ...(6b)

相互情報量I(X;Y)は
I(X;Y)=H(Y)-H(Y/X) ...(7a)
=-(1/10){(3p2-2p1+3)log2(3p2-2p1+3)+(2p2+5p1+1)log2(2p2+5p1+1)-5p2
log2(-5p2-3p1+6)+(6-3p1)log2(-5*p2-3*p1+6)-10*log2(10)}-(8174/9103)log2(e) ...(7b)
I(X;Y)の最大値が通信路容量だからI(X;Y)=f(p1,p2) ...(8)(0≦p1≦1,0≦p2≦1,p1+p2≦1 ...(9))の最大となるp1,p2とその時の最大値を求めれば良い。

f_p1=∂f(p1,p2)/∂p1 ...(10a)
=(1/10){2log2(3p2-2p1+3)-5log2(2p2+5p1+1)+3log2(-5p2-3p1+6)}...(10b)
f_p2=∂f(p1,p2)/∂p2 ...(11a)
=(1/10)(-3log2(3p2-2p1+3)-2log2(2p2+5p1+1)+5log2(-5p2-3p1+6))...(11b)

f_p1=f_p2=0 ...(12)のただ１組の実数解の組(p1,p2)(0≦p1≦1,0≦p2≦1,p1+p2≦1)が存在する。その時のf(p1,p2)が相互情報量の最大値すなわち通信路容量Cになる。

f_p1=0より
2log2(3p2-2p1+3)-5log2(2p2+5p1+1)+3log2(-5p2-3p1+6)=0
log2{(3p2-2p1+3)^2*(-5p2-3p1+6)^3}=log2{(2p2+5p1+1)^5}
(3p2-2p1+3)^2*(-5p2-3p1+6)^3=(2p2+5p1+1)^5 ...(13)

f_p2=0より
-3log2(3p2-2p1+3)-2log2(2p2+5p1+1)+5log2(-5p2-3p1+6)=0
3log2(3p2-2p1+3)+2log2(2p2+5p1+1)=5log2(-5p2-3p1+6)
log2{(3p2-2p1+3)^3*(2p2+5p1+1)^2}=log2{(-5p2-3p1+6)^5}
(3p2-2p1+3)^3*(2p2+5p1+1)^2=(-5p2-3p1+6)^5 ...(14)
(13),(14)を横軸にp1=x,縦軸にp2=yをとってプロットすると直線y=x上でただ１つ交点を持つことがわかる。
従って交点の座標は(13)式とp1=p2の(13)式でp1=p2の連立方程式を解けば求まる。(13)式でp1=p2=xとおいて
(3x-2x+3)^2*(-5x-3x+6)^3=(2x+5x+1)^5
(x+3)^2*(6-8x)^3=(7x+1)^5 ...(15)
(7x+1)^5+(x+3)^2*8(4x-3)^3
=(3x-1)(5773x^4+6566x^3+2852x^2-686x+1943)=0 ...(16)
(16)の第２項
g(x)=5773x^4+6566x^3+2852x^2-686x+1943はグラフを描けば
g(x)>0であることがわかる。言い換えれば
5773x^4+6566x^3+2852x^2-686x+1943=0 ...(17)は２組の共役な虚数解を持つから
(16)の実数解はx=1/3(=p1=p2)のみである。
相互情報量I(X;Y)はX=(p1,p2,1-p1-p2)=(1/3,1/3,1/3)のとき最大値は
(7b),(8)式から
f(p1,p2)=f(1/3,1,3)
=(9103log(3)-8174)/(9103log(2))=0.28950…　...(18)
定義により、(18)で与えられる相互情報量I(X;Y)の最大値が（3b）の3元対称通信路行列Tの通信路の通信路容量Cである。

参考までに
z=f(p1,p2)=I(X;Y)
をwxMaximaを使って3次元プロットした図を添付します。
p1=p2=1/3辺りでI(X;Y)が最大値f(1/3,1/3)=0.28950…=C(通信路容量) となっていることがほぼわかる。

参考URL：http://www.eva.ie.u-ryukyu.ac.jp/~endo/classes/通信路容量.pdf

この回答へのお礼

とてもわかりやすい回答ありがとうございます。全然わからず困っていたので、とても助かりました。

お礼日時：2013/07/10 20:13

No.1 回答者： alice_44 回答日時： 2013/07/08 14:35

通信路行列とは何か、わかりやすく質問に書いてください。

それが行列であることは、解ります。