最小2乗法の攪乱項

最小2乗法の攪乱項について質問です。

通常、古典的回帰モデルにおいても攪乱項(誤差項)は正規分布に従うという正規性を持つと仮定することが多いですが、
仮に正規性という条件を外すと最小2乗法の推定結果にどのような影響を及ぼすと考えられるでしょうか？

正規性を満たさなくてもガウス・マルコフの定理は成立するみたいなのですが…
現実の具体例を挙げて頂くだけでも歓迎です。

どなたか御回答頂けたら幸いです。

No.1 回答者： stomachman 回答日時： 2010/03/09 15:10

> 仮に正規性という条件を外すと最小2乗法の推定結果にどのような影響を及ぼす

　何の影響もありません。
　最小二乗法の手続きを具体的にたどってみれば、どこにも確率分布なんか出てこないってことが、すぐに確認できるでしょう。
　影響は、ただ、「最小二乗法を使うということが、一体何をやっていることになるのか」あるいは、「得られた結果はどういう意味なのか」という解釈に違いが出るだけです。言い換えれば、残差(redisue)を「攪乱項(誤差項)」すなわち測定に伴うerrorだと解釈するためには、攪乱が従う確率分布を考える必要があるってことです。

> 現実の具体例
たとえばフィボナッチ数列F[n]
F[1]=1, F[2]=1, F[k]=F[k-1]+F[k-2] (k≧3)
のn=1～10の部分に対して、放物線 f(n)=a n^2 + b n + c を最小二乗法でfittingし、a,b,cを決定するのは容易でしょう。で、確率なんて話、どこにも出てきませんね？残差 F[n]-f(n)は単に残差であって、測定誤差（擾乱）なんかじゃない。

この回答へのお礼

本当にありがとうございます。

正規性という条件を外しても推定結果には問題ないということですね。

ということは元から正規性を仮定しなくてもいいような気がするのですが…
あまり目的は無いということですね。
stomachmanさんのおっしゃられているように一応確率分布を仮定しているだけという解釈で一応納得できました。

また機会がありましたら宜しくお願い致します。

お礼日時：2010/03/09 17:31

No.2 回答者： stomachman 回答日時： 2010/03/09 19:42

ANo.1のコメントについて、

> 一応確率分布を仮定しているだけ

全然違います。

この回答へのお礼

私の理解不足で的外れなコメントをしてすみません…

＞すなわち測定に伴うerrorだと解釈するためには、攪乱が従う確率分布を考える必要がある

この点について、単に攪乱の確率分布を考えるだけならば正規分布でなくても良いと思うのですが、なぜ他の分布でなく、敢えて正規分布を仮定するのか
ということが疑問です。正規分布が扱いやすい事は分かるのですが…

お礼日時：2010/03/09 19:54

No.3 ベストアンサー 回答者： stomachman 回答日時： 2010/03/10 14:15

ANo.2のコメントについてです。

> 正規分布が扱いやすい事は分かるのですが…

扱いやすいかどうかは本質的じゃありません。

最小二乗法等の手段でモデルを現象に当て嵌める(fittingする)のは
(1) 現象をモデル（式）が正しく表していないのは承知の上で、現象を簡単な式で近似するためにモデルを使いたい。(ANo.1の例）
(2) 現象はモデルで正しく記述できると考える十分な根拠があるのだが、測定に誤差が伴うので、最尤推定（誤差による偏りが最も少ないと期待される推定）でパラメータを決めたい。
(3) 離散的に与えられた測定結果を利用して、滑らかな曲線を作りたい。（例えば、デザイナーが美的感覚に基づいて打った幾つかの点をほぼ通り、かつ、ある力学的制約を満たす滑らかな曲線を作りたい。）
などの場合でしょう。で、残差を誤差・擾乱と呼ぶのが適切なのは(2)のケース。

　さて、測定誤差が従う確率分布がどうなってるかを心配するのは、最小二乗法で算出したパラメータの持つ推定誤差の確率分布を考える必要がある場合でしょう。その際に、測定誤差が(正規分布でない)ある特定の確率分布に従うと考える根拠がある場合には、もちろん、正規分布じゃなくて、その根拠のある確率分布を仮定すれば良いんです。

　ところで、(2)のケースの一番簡単な例は、変化しない同じ対象を同じ測定手段で何度も何度も測った結果を使って、
f(n) = c
というモデルを測定値F[n](n=1,2,...,N)に最小二乗法で当て嵌める、という場合。最小二乗法によるパラメータcの推定値は
c=F[n]の平均値
になります。（証明はとても簡単だからやってみて下さい。これこそが「平均値を代表値として用いる事が妥当だ」と主張するための根拠です。）で、この時に生じる残差は、もちろん、測定誤差に違いない。
　正規分布はガウスが発明した概念です。（ちなみに、上記の平均値の話も、最小二乗法自体もガウスによるものです。）ガウスが測量のバイトをやった際に、遠くにある印を望遠鏡で捉えて、望遠鏡を向けた方位角を読み取る。この読み取り値の誤差の分布はどうなるかなと考えた。で、ごく僅かなばらつきを持つ個々独立のランダムな要因がうんと沢山、足し算で重なって測定誤差が生じたのだとすると、個別の要因の確率分布がどうであろうと、測定誤差は正規分布に収束する（大数の法則）、ってことを証明した。元が望遠鏡の話ですから、測定精度の限界にチャレンジしてた天文学に即座に応用されたんです。
　さて、測定の原理によっては、「測定誤差の分布は正規分布にならないに決まってる」と言える場合もあります。しかし、測定誤差の従う確率分布や測定誤差の発生原因についてさしたる知識がなく、むしろ「ごく僅かなばらつきを持つ要因がうんと沢山、足し算で重なって測定誤差が生じたのだ」と考えられるのであれば、大数の法則によって、「概ね正規分布で近似できるだろう」と推測しておくのが妥当、ってことになります。

　というわけで

> 単に攪乱の確率分布を考えるだけならば正規分布でなくても良い

は話が逆であって、むしろ「単に（測定誤差の発生原因についてさしたる知識もなく）攪乱の確率分布を考えるだけならば、正規分布だと仮定しない理由がない」んです。

この回答へのお礼

非常に返信が遅くなってしまい申し訳ありません。

とてもご丁寧に回答して頂いて恐縮するばかりです。
私の理解の足りなさを痛感致しました。
またの機会がありましたら是非宜しくお願い致します。

お礼日時：2010/03/13 08:21

No.4 回答者： alice_44 回答日時： 2010/03/10 23:26

最小二乗法が最尤推定を与えるような誤差分布って、

正規分布でなくても、
平均 0 に唯一の極大があって、正負に対称な
確率密度であればいいんじゃない？

この回答へのお礼

お答え頂きありがとうございます。

お礼日時：2010/03/13 08:23