最小二乗法による直線の当てはめ

最小二乗法について勉強しているのですが、わからないことが出てきたので教えてください。
xとyについてのデータをとって最小二乗法で直線を当てはめることはできたのですが、問題でxが多次元の場合でも直線の当てはめ可能であり、n次元のベクトルxに対して最小二乗法で直線当てはめを行った場合のベクトルaおよびスカラbの導出の仕方がわかりません。
質問がわかりずらいと思いますが、教えてください。

No.3 回答者： angkor_h 回答日時： 2015/05/20 20:02

xyのデーター列があれば、n次近似曲線の各係数はexcelで計算できます。

キーワードで検索すれば情報が一杯あります。※
簡単には、excelで散布図グラフを作れば、n次近似式を表示してくれます。

※　余談；
本日社用で、excel_helpで「二乗和」と検索したら「そんなものは無い｣と言われた。「平方和」しか受け付けない。
しかし、ネットでは一発で出る。
おばかMS_Helpは今でもおばかのままでした…

No.2 回答者： kamiyasiro 回答日時： 2015/05/16 12:30

企業に勤める統計屋です。

これは「重回帰分析」というワードでググれば出てくると思いますが、
最近は統計ソフトが何でもできるようになったため、
導出を示さずに結果だけ示しているサイトもあります。

xが多次元であるとき、その中心化した（各列の平均を引いた）行列をXとします。
観測値yはそのままで良いです。

そのとき、偏回帰係数β（ご質問ではaベクトルに該当）は、

β＝(XTX)^-1・XT・y

となります。Tは転置、^-1は逆行列を表します。

切片bはyの平均です。
つまり、求めた直線はX空間の重心とyの平均を通る直線になります。
今、X空間はx空間を平行移動していますので、
切片bを元の空間で考えるときは、ｘ＝0を代入して計算し直して下さい。

導出方法は、まず誤差平方和を求め、それをβで微分して0となるβを求めます。
まさに最小２乗法です。

Se＝Σe^2＝eTe
＝(y－X･β)T(y－X･β)
＝yTy－yTX･β－(X･β)Ty＋βTXTX･β
＝yTy－2yTyTX･β＋βTXTX･β

∂Se／∂β＝∂(yTy－2yTyTX･β＋βTXTX･β)／∂β
＝0－2XTy＋2(XTX)･β

これを0と置いてβを解くと上の式になります。

No.1 回答者： Tacosan 回答日時： 2015/05/10 01:11

その「ベクトルa」とか「スカラb」ってなんなんですか?