最小二乗法について

最小二乗法では二乗和の誤差

Σ[i=1～n]{Yi-(α+βXi )}^2 （iは添え字です）

を最小化するα,βを推定することを考えますが、
これは単純にα,βで偏微分してそれを0とおいて
連立方程式を解くだけでよいのですか？

といいますのも、2変数関数の極値を求める場合、
Hessianを計算して判別しますよね？
ただ一階偏導関数が0になるからといって、
そこで極値をとるとは限らない気がしたので…

それとも最小二乗法の場合は必ずとるようになっているのでしょうか？
手元の本には、

「この二乗和は非負値なので、αとβで偏微分したものを0とするα,βが上式を最小にする値である」

とあるのですが、一般に非負値だとこの ようなことが言えるのでしょうか？

No.2 ベストアンサー 回答者： alice_44 回答日時： 2011/08/18 23:06

ヘッセ行列式を使う極値判定は、二変数関数の場合だけの便法です。

本来は、ヘッセ行列を係数とする二次形式で、多変数関数を近似します。

最小二乗法の場合、極値点を探す関数がもとから二次関数なので、
二次近似と言っても、単に平行移動するだけです。だから、
多変数二次関数にはどんなものがあるか、知っていればそれだけの話です。
二変数二次関数の分類については↓を参照。
http://www.math.sci.osaka-u.ac.jp/~sakane/shudai …

一価関数として表され、下に有界で、停留点が一点だけのものは、
下凸な楕円放物面のみです。そのとき、停留点が最小点になっています。

ただ単に、多変数関数が非負値だというだけでは、このようなことは言えません。
二次関数だということが判っているので、正体は知れているのです。

No.1 回答者： ringohatimitu 回答日時： 2011/08/18 16:51

連立方程式を解けばただ一つの解が得られるのでその場合自動的に最小値を与えるものになります。

Σ[i=1～n]{Yi-(α+βXi )}^2≧0はα、βについて全平面で滑らかなので最小値が存在し、その点で微分係数が消えなければなりません。ところがそのような停留点は一つしかないので結局最小値を与える点でしかあり得ないということです。