最小二乗法の偏微分

近似の直線をｙ＝ax + b とする。
残差二乗和をa,bそれぞれで偏微分すると0になるんですけど、何で0になるのですか？

数学的な意味を教えていただければ嬉しいです。

No.2 回答者： sanori 回答日時： 2007/04/18 17:28

あるデータｘn、ｙnについて

εn ＝ a・ｘn ＋ ｂ － ｙn

Ｓ ＝ Σ(εn)^2 ＝ Σ（a・ｘn ＋ ｂ － ｙn）^2

ここで、各ｘn と 各ｙn は既知の数であり、ａとｂはこの段階では未知のなので、Ｓはａとｂの関数と考えることができます。

Ｓを最小にするためには、
∂Ｓ／∂ａ＝０　かつ　∂Ｓ／∂ｂ＝０

つまり、
「なぜゼロになるか」
ではなくて、
「ゼロになるように決めた」
若しくは
「∂Ｓ／∂ａ＝０　かつ　∂Ｓ／∂ｂ＝０　であれば、Ｓ（＝Σ(εn)^2）が最小になる」
です。

No.1 回答者： Tacosan 回答日時： 2007/04/18 01:14

最小二乗法の性質から, 残差二乗和が最小になるから.

正確にいえば, 「残差二乗和を最小にしたい」から「a, b それぞれで偏微分して 0 にする」んだけど.