最小二乗法の過程で分散共分散行列が・・・・

最小二乗法の過程で分散共分散行列が目にしました。

重回帰モデルが
ｙ＝Ｘβ+ε
で与えられるとき、最小二乗法を施すと
βの期待値ｂが
（ＸT・Ｘ）-1・ＸT・ｙで表せるのですが、
（ただし、ＸTは行列Ｘの転置行列、-1は逆行列を表します。）

大事なのがここからで、
この　（ＸT・Ｘ）-1　　というものが、有名な形らしく、分散共分散行列と呼ばれるらしいのです。
どうして、この行列が分散を表す行列になるのかが、いまいちつかめないのです。ご存知の方がいらっしゃいましたらぜひ教えてください。
助けてください！！よろしくお願いします！！

No.3 ベストアンサー 回答者： at9_am 回答日時： 2007/06/12 23:23

＃１です。

再度補足。

１）分散の定義そのものです。
詳しくは確率変数の平均値が０でないときの分散の定義を見てください。

２）(X'X)^(-1) X'Xβ- β＝０になるということでしょうか?
その通りです。(X'X)^(-1) X'X = I 、すなわち単位行列でしょう？

３）E[(b-β)(b-β)'] = σ^2 (X'X)^(-1)
地道に計算すれば解けるのですが、
E[(b-β)(b-β)'] = E[((X'X)^(-1) X'(Xβ + ε) - β)((X'X)^(-1) X'(Xβ + ε) - β)']
= E((X'X)^(-1) X'ε) ((X'X)^(-1) X'ε)']
= E[((X'X)^(-1) X'ε) (ε'X((X'X)^(-1))]
= ((X'X)^(-1) X'E[εε']X((X'X)^(-1))
= ((X'X)^(-1) X'σ^2 X((X'X)^(-1)) ←σ^2 はスカラーなので前に出せる（単位行列は消す）
= σ^2 (X'X)^(-1) X'X(X'X)^(-1)
= σ^2 (X'X)^(-1)
となります。

この回答へのお礼

とても良く分かりました。とても助かりました。
本当に感謝しております。転置行列の計算に戸惑っておりました。
ただ、最後にひとつ教えてください。

E[(b-β)(b-β)'] のβの定義とは何になるのでしょうか?
ｂの分散ということであれば、未知係数βの真の値、
すなわち、ｙーＸβ＝０、
誤差εが０になるときのβと考えればよいのでしょうか?
最後の最後になりますが、教えてください。
よろしくお願いします。

お礼日時：2007/06/13 05:27

No.2 回答者： at9_am 回答日時： 2007/06/09 16:44

＃１です。

補足します。

> σはｙの標準偏差、εは私が定義した誤差でよろしいでしょうか?

ということですが、σ^2 は誤差項の分散です。y の分散とはちょっと違います。

εの定義については一般的な線形モデル
ｙ＝Ｘβ+ε
を使っているので、問題ないと思います。この書き方に合わせて書くと
E[εε'] = σ^2 I
となります。ただし I は単位行列です。

この回答へのお礼

ご回答ありがとうございます。補足の意味分かりました。ありがとうございます。
今、分散共分散行列のことでいろいろと質問してしまっているのですが、分からないことだらけです。もしよろしければ、教えていただけないでしょうか?

一つ目の疑問です。
β の推定値 b の分散共分散行列は
E[(b-β)(b-β)']
で定義されることは、分かりました。
これがなぜ分散を表すかというと、対角成分がまさに分散であるということでよろしいでしょうか?つまり、分散を表す一つの手段と考えればよろしいでしょうか？

二つ目の疑問は
b-β = (X'X)^(-1) X'(Xβ + ε) - β
　　 = (X'X)^(-1) X'ε
の計算です。一行目の変換は分かりました。ところが、二行目への変換が何度計算しても分かりません。
(X'X)^(-1) X'Xβ- β＝０
になるということでしょうか?一行目を分解するとそういうことになると思うのですが…。
どうしてこうなるのかを教えていただけないでしょうか?

三つ目の疑問は
E[(b-β)(b-β)'] = σ^2 (X'X)^(-1)
の計算です。何度も計算をお聞きし、申し訳ありません。ただ、この計算が出来ません・・・。詳しく教えていただけないでしょうか?

いろいろと申し訳ありません。計算は今もしていますが…。
教えていただけるととてもありがたいです。ぜひぜひよろしくお願いします。

お礼日時：2007/06/09 23:34

No.1 回答者： at9_am 回答日時： 2007/06/07 09:35

β の推定値 b の分散共分散行列は

E[(b-β)(b-β)']
で定義されますから、
b-β = (X'X)^(-1) X'(Xβ + ε) - β
= (X'X)^(-1) X'ε
から
E[(b-β)(b-β)'] = σ^2 (X'X)^(-1)
になります。ただし E(ε^2)=σ^2 です。

この回答へのお礼

ご回答ありがとうございます。
助かります。
少しお聞きしたいのですが、
σはｙの標準偏差、εは私が定義した誤差でよろしいでしょうか?

お礼日時：2007/06/07 12:15