No.3ベストアンサー
- 回答日時:
ANo.2のコメントについてです。
> 正規分布が扱いやすい事は分かるのですが…
扱いやすいかどうかは本質的じゃありません。
最小二乗法等の手段でモデルを現象に当て嵌める(fittingする)のは
(1) 現象をモデル(式)が正しく表していないのは承知の上で、現象を簡単な式で近似するためにモデルを使いたい。(ANo.1の例)
(2) 現象はモデルで正しく記述できると考える十分な根拠があるのだが、測定に誤差が伴うので、最尤推定(誤差による偏りが最も少ないと期待される推定)でパラメータを決めたい。
(3) 離散的に与えられた測定結果を利用して、滑らかな曲線を作りたい。(例えば、デザイナーが美的感覚に基づいて打った幾つかの点をほぼ通り、かつ、ある力学的制約を満たす滑らかな曲線を作りたい。)
などの場合でしょう。で、残差を誤差・擾乱と呼ぶのが適切なのは(2)のケース。
さて、測定誤差が従う確率分布がどうなってるかを心配するのは、最小二乗法で算出したパラメータの持つ推定誤差の確率分布を考える必要がある場合でしょう。その際に、測定誤差が(正規分布でない)ある特定の確率分布に従うと考える根拠がある場合には、もちろん、正規分布じゃなくて、その根拠のある確率分布を仮定すれば良いんです。
ところで、(2)のケースの一番簡単な例は、変化しない同じ対象を同じ測定手段で何度も何度も測った結果を使って、
f(n) = c
というモデルを測定値F[n](n=1,2,...,N)に最小二乗法で当て嵌める、という場合。最小二乗法によるパラメータcの推定値は
c=F[n]の平均値
になります。(証明はとても簡単だからやってみて下さい。これこそが「平均値を代表値として用いる事が妥当だ」と主張するための根拠です。)で、この時に生じる残差は、もちろん、測定誤差に違いない。
正規分布はガウスが発明した概念です。(ちなみに、上記の平均値の話も、最小二乗法自体もガウスによるものです。)ガウスが測量のバイトをやった際に、遠くにある印を望遠鏡で捉えて、望遠鏡を向けた方位角を読み取る。この読み取り値の誤差の分布はどうなるかなと考えた。で、ごく僅かなばらつきを持つ個々独立のランダムな要因がうんと沢山、足し算で重なって測定誤差が生じたのだとすると、個別の要因の確率分布がどうであろうと、測定誤差は正規分布に収束する(大数の法則)、ってことを証明した。元が望遠鏡の話ですから、測定精度の限界にチャレンジしてた天文学に即座に応用されたんです。
さて、測定の原理によっては、「測定誤差の分布は正規分布にならないに決まってる」と言える場合もあります。しかし、測定誤差の従う確率分布や測定誤差の発生原因についてさしたる知識がなく、むしろ「ごく僅かなばらつきを持つ要因がうんと沢山、足し算で重なって測定誤差が生じたのだ」と考えられるのであれば、大数の法則によって、「概ね正規分布で近似できるだろう」と推測しておくのが妥当、ってことになります。
というわけで
> 単に攪乱の確率分布を考えるだけならば正規分布でなくても良い
は話が逆であって、むしろ「単に(測定誤差の発生原因についてさしたる知識もなく)攪乱の確率分布を考えるだけならば、正規分布だと仮定しない理由がない」んです。
非常に返信が遅くなってしまい申し訳ありません。
とてもご丁寧に回答して頂いて恐縮するばかりです。
私の理解の足りなさを痛感致しました。
またの機会がありましたら是非宜しくお願い致します。
No.4
- 回答日時:
最小二乗法が最尤推定を与えるような誤差分布って、
正規分布でなくても、
平均 0 に唯一の極大があって、正負に対称な
確率密度であればいいんじゃない?
No.1
- 回答日時:
> 仮に正規性という条件を外すと最小2乗法の推定結果にどのような影響を及ぼす
何の影響もありません。
最小二乗法の手続きを具体的にたどってみれば、どこにも確率分布なんか出てこないってことが、すぐに確認できるでしょう。
影響は、ただ、「最小二乗法を使うということが、一体何をやっていることになるのか」あるいは、「得られた結果はどういう意味なのか」という解釈に違いが出るだけです。言い換えれば、残差(redisue)を「攪乱項(誤差項)」すなわち測定に伴うerrorだと解釈するためには、攪乱が従う確率分布を考える必要があるってことです。
> 現実の具体例
たとえばフィボナッチ数列F[n]
F[1]=1, F[2]=1, F[k]=F[k-1]+F[k-2] (k≧3)
のn=1~10の部分に対して、放物線 f(n)=a n^2 + b n + c を最小二乗法でfittingし、a,b,cを決定するのは容易でしょう。で、確率なんて話、どこにも出てきませんね?残差 F[n]-f(n)は単に残差であって、測定誤差(擾乱)なんかじゃない。
本当にありがとうございます。
正規性という条件を外しても推定結果には問題ないということですね。
ということは元から正規性を仮定しなくてもいいような気がするのですが…
あまり目的は無いということですね。
stomachmanさんのおっしゃられているように一応確率分布を仮定しているだけという解釈で一応納得できました。
また機会がありましたら宜しくお願い致します。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・街中で見かけて「グッときた人」の思い出
- ・「一気に最後まで読んだ」本、教えて下さい!
- ・幼稚園時代「何組」でしたか?
- ・激凹みから立ち直る方法
- ・1つだけ過去を変えられるとしたら?
- ・【あるあるbot連動企画】あるあるbotに投稿したけど採用されなかったあるある募集
- ・【あるあるbot連動企画】フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
- ・映画のエンドロール観る派?観ない派?
- ・海外旅行から帰ってきたら、まず何を食べる?
- ・誕生日にもらった意外なもの
- ・天使と悪魔選手権
- ・ちょっと先の未来クイズ第2問
- ・【大喜利】【投稿~9/7】 ロボットの住む世界で流行ってる罰ゲームとは?
- ・推しミネラルウォーターはありますか?
- ・都道府県穴埋めゲーム
- ・この人頭いいなと思ったエピソード
- ・準・究極の選択
- ・ゆるやかでぃべーと タイムマシンを破壊すべきか。
- ・歩いた自慢大会
- ・許せない心理テスト
- ・字面がカッコいい英単語
- ・これ何て呼びますか Part2
- ・人生で一番思い出に残ってる靴
- ・ゆるやかでぃべーと すべての高校生はアルバイトをするべきだ。
- ・初めて自分の家と他人の家が違う、と意識した時
- ・単二電池
- ・チョコミントアイス
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
データの相対誤差について
-
誤差率 理論値が0の時
-
集積公差について教えて下さい。
-
最小二乗法は、なぜ「二乗」な...
-
実験計画法、L18直交表への割り...
-
平均誤差について
-
【座標の変換】日本測地系から...
-
計算機で乗数の逆算をするには?
-
プラスマイナス1.5の範囲に...
-
測定したデータの誤差を計算す...
-
べき乗の計算について
-
重み付き最小二乗法について
-
数種類の回答の数字から、元の...
-
実験データから誤差を求める方法
-
誤差伝播について
-
アップ率の求め方について
-
パーセントの平均の計算式。 42...
-
パーセントの合計と平均について
-
小数点以下
-
100m3/minは何m3/hになりま...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
おすすめ情報