最小二乗法の過程で分散共分散行列が・・・

最小二乗法の過程で分散共分散行列が目にしました。

重回帰モデルが
ｙ＝Ｘβ+ε
で与えられるとき、最小二乗法を施すと
βの期待値ｂが
（Ｘ'・Ｘ）-1・Ｘ'・ｙで表せるのですが、
（ただし、Ｘ'は行列Ｘの転置行列、-1は逆行列を表します。）

このｂの分散共分散行列を計算すると
E[(b-E(b))(b-E(b))'] = σ^2 (X'X)^(-1)
となるのですが、
この計算をする際にE(b)＝β
とするのですが、どうしてこれが成り立つのでしょうか?
教えてください!!よろしくお願いします。

また、もしよろしければ、次のことを教えてください。ご存じなければ、上の質問だけでももちろん助かります。

ｂの分散共分散行列
E[(b-E(b))(b-E(b))']
を計算すると
E[εε']＝σ^2I
となる過程が出てくるはずです。(Iは単位行列)
どうしてこの変形が出来るのでしょうか?
単位行列にはならないはずですが、単位行列になるという
仮定を用いているようです。
どうしてこの仮定が生じたのか、ご存知の方いらっしゃれば教えてください。とても困っています。

No.1 ベストアンサー 回答者： at9_am 回答日時： 2007/06/16 12:04

> （Ｘ'・Ｘ）-1・Ｘ'・ｙ

E[(X'X)^(-1) X'y] = E[(X'X)^(-1) X'(Xβ + ε)]
= (X'X)^(-1) X'Xβ + (X'X)^(-1) X'E[ε]
= β + 0 = β


最小自乗法でおかれる通常の仮定の中に
E[ε] = 0
E[εε'] = σ^2 I
が含まれています。この仮定をゆるめたモデルも存在しますが、最初はここが基本です。したがってこの仮定から出てきます。

ちょっとだけ解説すると、前者はモデルが正しい (y = Xβ + ε が期待値の意味で成り立つ) ことを主張しており、後者は誤差項はそれぞれ独立で同じ分散を持つ、ということを主張しています。

この回答へのお礼

ご回答ありがとうございます。現在、最小自乗法とそこから展開される
分散共分散行列について勉強しております。

最初の疑問の答えは良く分かりました。ありがとうございます。

二つ目の疑問なのですが、最小自乗法の本を読んでいるのですが、
どこにもこの仮定のことが書いていないように思われます。

最小自乗法により
βの期待値ｂが
（Ｘ'・Ｘ）-1・Ｘ'・ｙで表されるというところまででこの仮定が出てきているのでしょうか?
最小自乗法のどこでこの仮定が使われているのかを教えていただけるとうれしいです。よろしくお願いします。

お礼日時：2007/06/17 00:11