最小二乗法は、なぜ「二乗」なのでしょうか？

最小二乗法は、なぜ「二乗」なのでしょうか？

多くの参考書には
「残差をそのまま足し合わせると
正負が打ち消しあってしまうため、二乗する。」
と書かれているのですが、
それでは４乗や６乗ではいけないのでしょうか？

個人的には、統計の正規分布と
何か関わりがあるのかと思っているのですが・・・。

それとも、ただ単に
「２乗が一番計算しやすいから」という事なのでしょうか？

No.6 回答者： eatern27 回答日時： 2008/07/08 03:26

http://ja.wikipedia.org/wiki/%E3%82%AC%E3%82%A6% …

という事が背景にはあるんだ、という事を知りたいのでしょうかね。

要するに、いくつかの仮定の元では、最小２乗法による推定値が「もっともよい」推定値となるという事です。

No.5 回答者： agthree 回答日時： 2008/07/07 23:47

残差の４乗で比較すると、４乗で効いてくるために残差の大きいものにひきずられてしまいます。

例えば測定値がほぼ理論曲線通りで１点だけ異常値が出て残差が大きくなってしまったような場合、測定値から理論曲線を求めることを考えると、残差の２乗を使うよりも残差の４乗を使う方が異常値にひきずられて本来の理論曲線から外れてしまいます。６乗ではなお顕著ですね。
残差の絶対値を使えばよいのですが、前の方のご指摘のように計算が大変なので、２乗を使っているのだと思います。

No.4 回答者： ohbacomeon 回答日時： 2008/07/07 14:01

誤差が最小になるように近似するわけですよね。

でも、
＞残差をそのまま足し合わせると
＞正負が打ち消しあってしまう
ため、誤差の二乗和で評価するんですね。
二乗和が最小になるなら、４乗和も６乗和も最小になりますね。
誤差の二乗和が最小になるようにする、っていうだけの話で、
この段階では統計は関係ないと思います。

No.3 回答者： incd 回答日時： 2008/07/07 13:48

ずばり計算しやすいからでしょう。

その他、そうして得られた推計値が良い性質を持つというのもあると思います。
二乗でなくて、たとえば絶対値を取るという推計値もあります（ただし、計算は困難）。

なぜ分散の定義は平均からの乖離の二乗の期待値なのか？
というのとその疑問は本質的に同じことです。ばらつき具合を表す１つの方法が二乗することだということです。

ちなみに「距離」も「分散」もすべて「二乗」から派生しているものなので、根本的な答えとはいえないように思います。


＞＞個人的には、統計の正規分布と
何か関わりがあるのかと思っているのですが・・・。

もっと突き詰めていけばそうかもしれません。そこまで深い話はちょっと分かりません。

No.2 回答者： ymmasayan 回答日時： 2008/07/07 09:50

ピタゴラスの定理　うーん？

一応、誤差の分散の推定値は残差の平方和　という所から来ています。↓
かなり理論的ですよ。

No.1 回答者： sanfran_ 回答日時： 2008/07/07 07:03

回帰式をグラフに描いて眺めれば分かるように

距離、仮にcとすると、そのｘ成分（a)とｙ成分(b)とは、
ピタゴラスの定理により
　a＾2 + b＾2 = c＾2　と、表されるね。
そこから、最小２乗法は来ています。