オンライン健康相談、gooドクター

重回帰モデル:Y = X b + ε の回帰係数の導出について調べているのですが,本やサイトによって,次の2通りの表現があります。
 b = (X'・X)^(-1)・X'・Y (I)
 b = Cxx^(-1)・Cxy (II)
ただし,'は転置,^(-1)は逆行列,・は積を表しています。また,CxxはXの分散共分散行列,CxyはXとYの共分散ベクトルです。

どうして(I)と(II)の表現はイコールになるのでしょうか?教えて頂ければ幸いです。

gooドクター

A 回答 (1件)

簡単のために


n個の入力x_i, (i=1,...,n)がn+1個のパラメターb_i, (i=0,...n)で変換されるものとします.
y = b_0 + Σb_i*x_i
ただし,Σは(i=1,...,n)の総和演算です.j番目の観測量をy_jと書き,
y_jなる出力を生じるはずの入力をx_ijと書くとき,
y_j = b_0 + Σb_i*x_ij + e_j
が成立します.ここで,e_jはxとbで説明できない観測誤差です.
m個の観測量y_j, (j=1,...,m)からbの最小二乗の意味で最適な推定を行うには
y_jを縦に詰んだm*1ベクタY,
X =
[1 x_11 x_21 ... x_n1]
[1 x_12 x_22 ... x_n2]
[: : : ... : ]
[1 x_1m x_2m ... x_nm]
なるm*(n+1)行列X,
B = [b_0 b_1 ... b_n]'
なるn*1ベクタを用いて,
以下のm*1誤差ベクタのノルムの最小化問題を解けば良い事になります.
|| X*B - Y ||^2 -> min
この問題の解はXの列空間にBを直交射影したものをXの行空間に戻すことで得られます.
すなわち,以下の正規方程式の解です.
X'*X*B = X'*Y
m>nでXが列フルランク,等価的にX'*Xが正則であれば,解は
B = (X'*X)^(-1)*X'*Y
と書けます(上の表現).

下の表現に関しては参考URLをご覧下さい.

参考URL:http://case.f7.ems.okayama-u.ac.jp/statedu/hbw2- …
    • good
    • 0

お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!

gooドクター

人気Q&Aランキング