No.3ベストアンサー
- 回答日時:
[1] 厳密な話ならばANo.1の通りです。
最小二乗法が厳密な意味でモデルのパラメータの最尤推定法になるためには、以下の前提が必要です。
(1) 誤差、すなわち測定値y[i]と真値y0[i]の差
ε[i] = (y[i]-y0[i])
は平均0、分散(σ[i])^2の正規分布 N(0, (σ[i])^2)に従う。ただし、
σ[i] = s[i] σ0
で、σ0は未知でも良いが、s[i]は既知である。
(2) 各測定は互いに独立で、それぞれの誤差の共分散は0である。
(3) パラメータのベクトルxを含む既知のモデルM(x,i)があって、真値y0[i]について、あるパラメータx0が存在して、
M(x0,i)=y0[i]
である。
つまり、正解のx0を使って計算した残差y[i]-M(x0,i)は、正規分布 N(0, (σ[i])^2)に従う独立なランダム変数n個それぞれから取ったサンプルになっている、ということです。
さて、真値の推定値としてモデルが与える値 M(x,i) を使ったとき、その尤度(すなわち、測定値がy[i]であるときに真値がM(x,i)である確率)は、上記(1)(2)の仮定から、
L(M(x,i) | y[i]) = {1/(σ[i]√(2π))} exp( -((y[i]-M(x,i))^2) / (2(σ[i])^2) )
である。xの尤度L(x | y[i](i=1,...,n))(すなわち、測定値がy[i](i=1,...,n)であるときにパラメータの正解がxである確率)は、i=1...nについてのL(M(x,i) | y[i]) の積
L(x | y[i](i=1,...,n)) = Π L(M(x,i) | y[i])
= [1/{((2π)^(n/2))Πσ[i]} ] exp[-E(x)/(2(σ0^2))]
である。ただし
E(x) = Σ{((y[i]-M(x,i))/s[i])^2}
としました。
確率の意味で最も尤もらしいx0の推定値は、尤度L(x | y[i](i=1,...,n)) を最大にするようなxである(最尤推定)。そして、L(x | y[i](i=1,...,n)) の式から明らかなように
L(x | y[i](i=1,...,n))を最大にするようなx ⇔ E(x)を最小にするx
です。
[2] しかしながら、実務においては「必ずしも最尤推定だと保証できなくてもいい」という場合が多々ある。また、「データy[i]が含む測定誤差が正規分布に従い、その分散の相対値s[i]が分かっている」という条件や「真値は(パラメータさえ正しければ)モデルで誤差なしに説明できる」という条件を満たせない場合も多い。なので、実務のセンスで言いますと、ANo.2の説明もまた適切であろうと思います。
No.2
- 回答日時:
物凄く簡単に言えば
何かの関数でフィッティングしたい
→誤差を小さくするようにしたい
という場合に、最も簡単に思いつくのは「誤差の絶対値を足してゼロ」というものです。
しかし、これでは絶対値の取扱いなど、計算が非常に難しい。
したがって、二乗を使う訳です。
平方根では、(予測値-実測値)がマイナスになったときに困ります。
三乗だと、(予測値-実測値)の符号が残ってしまうため問題があります。
4乗では、最適化の時に面倒があります。
二次関数を考えてもらえば分かりますが、二次関数は山や谷が一つだけです(単峰性と言います)。したがって一回微分だけを考えれば最小値が特定できます。
一方の4次関数では山や谷が複数(一般に三つ)あります。したがって、最小値を特定することが非常に難しくなります。
勿論、最小二乗推定量は特定の条件下において最良のもの(最良不偏線形推定量)であることは間違いないのですが、上記のような理由があります。
No.1
- 回答日時:
誤差をガウス分布に従うものとして扱っているからです。
ガウス分布に従うとすると、平均がmi、標準偏差σiである測定値を測定してyiというデータを得る確率は
Pi(yi) ~ exp[ -(yi-mi)^2/2σi^2 ]
となります。したがって、独立な測定をしてy1, y2, y3,・・・・という測定値が得られる確率はそれぞれの確率の積で
Pall(y1, y2, y3, ・・・・) =P1(y1) P2(y2) P3(y3) ・・・
~exp[ -(y1-m1)^2/2σ1^2 ]exp[ -(y2-m2)^2/2σ2^2 ]exp[ -(y3-m3)^2/2σ3^2 ] ・・・・
=exp[ -{(y1-m1)^2/2σ1^2 + (y2-m2)^2/2σ2^2 + (y3-m3)^2/2σ3^2 + ・・・} ]
=exp[ -(1/2)Σi { (yi-mi)/σi }^2 ] = exp(-χ^2/2)
ここで、
χ^2 = Σi { (yi-mi)/σi }^2
と定義する。
したがって、測定値の組{y1, y2, y3, ・・・} に対してPall(y1, y2, y3, ・・・・)を最大にしようとすればχ^2を最小にすればいいことがわかります。
y1, y2・・・のそれぞれについて標準偏差が全て同じσである場合には
χ^2 = Σi { (yi-mi)/σi }^2 = (1/σ^2)Σi (yi-mi)^2
となるので、χ^2を最小にすることは残差二乗和Σi (yi-mi)^2 を最小にすることに等しくなります。
これが最小二乗法の理屈です。
関数が一次式で与えられる場合には
mi = a xi + b
としてa, bの最確値を求めることになります。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・人生のプチ美学を教えてください!!
- ・10秒目をつむったら…
- ・あなたの習慣について教えてください!!
- ・牛、豚、鶏、どれか一つ食べられなくなるとしたら?
- ・【大喜利】【投稿~9/18】 おとぎ話『桃太郎』の知られざるエピソード
- ・街中で見かけて「グッときた人」の思い出
- ・「一気に最後まで読んだ」本、教えて下さい!
- ・幼稚園時代「何組」でしたか?
- ・激凹みから立ち直る方法
- ・1つだけ過去を変えられるとしたら?
- ・【あるあるbot連動企画】あるあるbotに投稿したけど採用されなかったあるある募集
- ・【あるあるbot連動企画】フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
- ・映画のエンドロール観る派?観ない派?
- ・海外旅行から帰ってきたら、まず何を食べる?
- ・誕生日にもらった意外なもの
- ・天使と悪魔選手権
- ・ちょっと先の未来クイズ第2問
- ・【大喜利】【投稿~9/7】 ロボットの住む世界で流行ってる罰ゲームとは?
- ・推しミネラルウォーターはありますか?
- ・都道府県穴埋めゲーム
- ・この人頭いいなと思ったエピソード
- ・準・究極の選択
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
百分率の統計解析について
-
最小二乗法は、なぜ「二乗」な...
-
有効数字について教えて下さい...
-
信号対雑音比について
-
有効数字が整数部分の一桁で表...
-
測定誤差や有効数字は厳しく指...
-
データの相対誤差について
-
集積公差について教えて下さい。
-
誤差率 理論値が0の時
-
最小二乗法の重みづけについて...
-
20人対象のアンケートに統計...
-
プラスマイナス1.5の範囲に...
-
近似値、誤差の限界について
-
重回帰分析で手持ちデータがま...
-
有効数字について 6×3.0だった...
-
アップ率の求め方について
-
パーセントの合計と平均について
-
パーセントの平均の計算式。 42...
-
日本人男性の平均身長172cmと言...
-
小数点以下
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
おすすめ情報