最小二乗法の分母について

http://szksrv.isc.chubu.ac.jp/lms/lms1.html

上記サイト等でも最小二乗法によって求めるy=ax+bのaとbには共に
nΣ(Xi)^2－(ΣXi)^2となっていますが
これらが０にならないのは何故でしょうか。
０になるようなことはないのでしょうか。
詳しく証明していただけるとありがたいです。

No.4 回答者： hitokotonusi 回答日時： 2010/01/06 16:45

>これは何故でしょうか。

それでは、<(x-<x>)^2> = [Σ(xi-<x>)^2]/nからやります。
(これは平均の定義です。)

<(x-<x>)^2> = [Σ(xi-<x>)^2]/n = [Σ(xi^2 - 2xi<x> + <x>^2)]/n
= [Σxi^2]/n - 2([Σxi]/n)<x> + <x>^2 ([Σ1]/n)
= <x^2> - 2<x><x> + <x>^2

平均<x>はΣの添え字iによる和には関係ない量で定係数として扱えます。
わかりにくければ#1さんのように、<x>の代わりにmとでも置いてください。

また、Σ1は1をn回加えるのでΣ1=nです。
( あるいは、Σ<x>^2は<x>^2をn回加えるのでΣ<x>^2=n<x>^2 )

この回答へのお礼

たいへんわかりやすかったです。
ありがとうございました。
ばっちり納得することができました！

お礼日時：2010/01/08 00:43

No.3 回答者： hitokotonusi 回答日時： 2010/01/06 15:16

最小二乗法を使うときのxiというのは、必要なxの範囲の中にできるだけ散らばるようにとります。

(普通は等間隔に。)

xの値が散らばっている場合にはこの分母は0にはなりません。

全てのxが同じ値のときには0になりますが、
xの値を変えたときのyの変化を知りたいというときに、
xの値を変えないまま測定を行うということはありえませんよね。

>詳しく証明していただけるとありがたいです。

と言うことなので、この分母をn^2で割り、これをVと置きます。
すると、

V = [nΣ(Xi)^2－(ΣXi)^2]/n^2 = [Σ(Xi)^2]/n－(ΣXi/n)^2
= <x^2> - <x>^2

ここで、<>は平均を表します。

一方、<(x-<x>)^2>という量を考えてみると、

<(x-<x>)^2>＝<x^2 - 2x<x> + <x>^2>
= <x^2>-2<x><x>+<x>^2 = <x^2>-<x>^2

となるので、これはVに等しく、

V=<(x-<x>)^2> = [Σ(xi-<x>)^2]/n
= [(x1-<x>)^2 + (x2-<x>)^2 + ・・・＋(xn-<x>)^2]/n

二乗しているのでxiが平均値<x>に等しくない場合は各項は必ず正になりますから、Ｓが0になるのは全てのxiが<x>に等しい場合のみです。

そして、最小二乗法を使うような場合には、xiがすべて等しくなるような実験条件にはしません。

この回答への補足

>一方、<(x-<x>)^2>という量を考えてみると、

<(x-<x>)^2>＝<x^2 - 2x<x> + <x>^2>
= <x^2>-2<x><x>+<x>^2 = <x^2>-<x>^2

この部分がいまいちよくわからないのですが、
<x^2 - 2x<x> + <x>^2> = <x^2>-2<x><x>+<x>^2
これは何故でしょうか。
お願いします。

補足日時：2010/01/06 15:50

No.2 回答者： Tacosan 回答日時： 2010/01/06 14:11

あっと, ケアレスミスがあります.

Σ(Xi - m)^2
ではなくその n倍と等しくなります.

No.1 回答者： Tacosan 回答日時： 2010/01/06 14:10

Xi の平均を m とすると, これは Σ(Xi - m)^2 と等しくなります (確認してみてください). 従って, 全ての Xi が等しければ 0 になりますが, そうでなければ 0 にはなりません.

そして, 「全ての Xi が等しい」ときには「最適な式」は x = Xi であり, y = ax+b という形で書くことはできません.