分散共分散行列は半正定値？

らしいのですが、その証明がわかりません。

参考になる本でも構いませんので、
どなたかよろしくお願いします。

No.3 ベストアンサー 回答者： adinat 回答日時： 2005/06/17 15:11

平均と分散が存在する（すなわち二次モーメントまで存在を仮定する）確率変数Yに対して

E[Y^2]≧E[Y]^2
が成り立ちます。これは左辺-右辺=E[(Y-E[Y])^2]≧0から明らかでしょう。分散が非負であることと同一です。実はこれからすぐにn次(ベクトル値)確率変数X=(X_1,X_2,…,X_n)の分散共分散行列が半正定値であることが分かります。

まず任意のn次元ベクトルv=(v_1,v_2,…,v_n)に対して、Y=v_1X_1+v_2X_2+…+v_nX_nとおきます。Yは1次元の通常の確率変数ですから、E[Y^2]≧E[Y]^2です。両辺を展開すれば、
ΣΣ{v_iv_jE[X_iX_j]}≧ΣΣ{v_iE[X_i]}{v_jE[X_j]}
となります。ただしΣはそれぞれ、i,jに関して1からnまでの和をとります。またv_i,v_jはただの実数値の定数だから期待値の前に出しています。この左辺から右辺をひくと、
ΣΣ{E[X_iX_j]-E[X_i]E[X_j]}v_iv_j≧0
となりますが、左辺は(,)を内積として、(v,Av)という形をしています。ただしAは分散共分散行列（第ij成分がE[X_iX_j]-E[X_i]E[X_j]の行列）です。vは任意だったのだから、これはAが半正定値であることを示しています。

結局、直感的には分散のn次元への一般化である分散共分散行列は、分散が非負であるのと同様に、半正定値である、というわけです。証明もほとんど同じですよね。

この回答へのお礼

完璧です。

「分散が非負であると同様に～」
がミソだったのですね。

ありがとうございました！

お礼日時：2005/06/18 14:48

No.2 回答者： 31415926 回答日時： 2005/06/16 23:26

実は分散共分散行列の正確な定義を知らずに

書き込んでしまいますが(すみません)，
どうやらこの行列は
Σ= A'A ('は転置行列，Aはある行列)
という形をしているようですね．
そうすると任意のベクトルvに対して
v'Σv = v'A'Av = (Av)'(Av) = Avの長さの2乗 >= 0
となりますので半正値であります．

この回答へのお礼

>どうやらこの行列は
>Σ= A'A ('は転置行列，Aはある行列)
>という形をしているようですね．

なぜこうなるのかがわかれば
苦労はしないのですが…。

お礼日時：2005/06/18 14:44

No.1 回答者： at9_am 回答日時： 2005/06/16 00:05

文中のベクトルの ' は転置記号、ベクトル内の ; は改行です。

分散・共分散行列Σは、確率変数ベクトル u = (u1,u2)'に対して
Σ = E[u u'] = E[var(u1) , cov(u1,u2) ; cov(u1,u2) , var(u2)]
と定義されています。したがって分散も共分散もゼロまたは正になるのでΣの各要素は全てゼロまたは正になります。
任意のゼロではないベクトル v = (v1 ,v2)'と２×２の行列Ａを考えれば、一般に
v'Av = (1,1)A(v1^2 , v2^2)'
が成立するため、
v'Σv >= 0
となります。したがってΣは半正値定符号行列であることが分かります。

この回答へのお礼

>分散も共分散もゼロまたは正になる

共分散は負をとることもあるはずですが…。

>一般に
>v'Av = (1,1)A(v1^2 , v2^2)'
>が成立する

v=(6 , -1)',A=[1 , 5 ; 5, 1]のときは成立しませんが…。

お礼日時：2005/06/16 12:12