システムメンテナンスのお知らせ

Yを応答とし,X1,X2,...,Xpを説明変数とします。
それぞれの変数の平均と分散をそれぞれmy,m1,m2,...,mp; vy,v1,v2,...,vpとします。
説明変数間の相関をrij(i,j=1,...,p)とします。
また,YとXi(i=1,...,p)の偏相関をqi(i=1,...,p)とします。

上記の条件の下,応答と説明変数が下記の構造で表せるとします:
Y=b1 X1+b2 X2+,...,bp Xp+e
ここに,e~N(0,sigma^2)であるとします。

このとき,偏回帰係数bi(i=1,...,p)を他のパラメータで表現できますでしょうか。
あるいは,この議論が載っている参考文献をご存知でしたらご教示ください。

よろしくお願いいたします。

gooドクター

A 回答 (1件)

 平均や分散で議論なさってますが、その元になる個々のサンプルを考えれば話が明快になりますんで、XjとYのk番目のサンプルをそれぞれX[k,j], Y[k] (k=1,2,…,N)としましょう。


 さて、

> 応答と説明変数が下記の構造で表せる

という曖昧な文言が一体どういう意味なのか、がポイントです。
 もしそれが、「bは最小二乗法の意味での解である」つまり「残差e[k]の二乗和Eが最小になるようなb」ということであるなら
  f(b)[k] = Σ{j=1~p}(X[k,j]b_j)
とおくと
  e[k] = Y[k] - f(b)[k]
  E = Σ{k=1~N}(e[k])^2
であり、Eを最小にするb_j (j=1~p)は、連立方程式
  ∂E/∂b[i] = 0   (i=1~p)
を解けば得られます。これは(実際に微分してみれば分かる通り)
  Σ{j=1~p} ((Σ{k=1~N}(X[k,i]X[k,j])) b_j ) = Σ{k=1~N}(X[i,k]Y[k])    (i=1~p)
という連立方程式です。行列で書くなら
  A b = c
ここに Aはp×pの正方対称行列、bとcはp次元の縦ベクトルで、
  A[i,j] = Σ{k=1~N}(X[k,i]X[k,j])
  b[i] = b_i
  c[i] = Σ{k=1~N}(X[k,i]Y[k])
であり、これを「線形最小二乗法の正規方程式」と言います。その解はもちろん
  b = (A^(-1)) c
です。

 以上の準備をした上で、さらに相関rijおよびqiをサンプルから計算する方法を具体的な式として書いてみれば、Σ{k=1~N}(X[k,i]X[k,j]) とrij、Σ{k=1~N}(X[i,k]Y[k])とqiが対応しているということが直ちにお分かりになるでしょう。たとえば
   Σ{k=1~N}((X[k,i]-mi)(X[k,j])-mj)) = A[i,j] - (N mi mj)
ですから、rijからA[i,j]が計算できる訳です。
    • good
    • 0
この回答へのお礼

御礼が遅くなり申し訳ありません。ご丁寧にありがとうございました。
ご教示いただきましたことをもとに勉強を進めたいと思います。
ありがとうございました。

お礼日時:2013/08/28 09:19

お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!

gooドクター

人気Q&Aランキング