![](http://oshiete.xgoo.jp/images/v2/pc/qa/question_title.png?8acaa2e)
No.3ベストアンサー
- 回答日時:
[1] 厳密な話ならばANo.1の通りです。
最小二乗法が厳密な意味でモデルのパラメータの最尤推定法になるためには、以下の前提が必要です。
(1) 誤差、すなわち測定値y[i]と真値y0[i]の差
ε[i] = (y[i]-y0[i])
は平均0、分散(σ[i])^2の正規分布 N(0, (σ[i])^2)に従う。ただし、
σ[i] = s[i] σ0
で、σ0は未知でも良いが、s[i]は既知である。
(2) 各測定は互いに独立で、それぞれの誤差の共分散は0である。
(3) パラメータのベクトルxを含む既知のモデルM(x,i)があって、真値y0[i]について、あるパラメータx0が存在して、
M(x0,i)=y0[i]
である。
つまり、正解のx0を使って計算した残差y[i]-M(x0,i)は、正規分布 N(0, (σ[i])^2)に従う独立なランダム変数n個それぞれから取ったサンプルになっている、ということです。
さて、真値の推定値としてモデルが与える値 M(x,i) を使ったとき、その尤度(すなわち、測定値がy[i]であるときに真値がM(x,i)である確率)は、上記(1)(2)の仮定から、
L(M(x,i) | y[i]) = {1/(σ[i]√(2π))} exp( -((y[i]-M(x,i))^2) / (2(σ[i])^2) )
である。xの尤度L(x | y[i](i=1,...,n))(すなわち、測定値がy[i](i=1,...,n)であるときにパラメータの正解がxである確率)は、i=1...nについてのL(M(x,i) | y[i]) の積
L(x | y[i](i=1,...,n)) = Π L(M(x,i) | y[i])
= [1/{((2π)^(n/2))Πσ[i]} ] exp[-E(x)/(2(σ0^2))]
である。ただし
E(x) = Σ{((y[i]-M(x,i))/s[i])^2}
としました。
確率の意味で最も尤もらしいx0の推定値は、尤度L(x | y[i](i=1,...,n)) を最大にするようなxである(最尤推定)。そして、L(x | y[i](i=1,...,n)) の式から明らかなように
L(x | y[i](i=1,...,n))を最大にするようなx ⇔ E(x)を最小にするx
です。
[2] しかしながら、実務においては「必ずしも最尤推定だと保証できなくてもいい」という場合が多々ある。また、「データy[i]が含む測定誤差が正規分布に従い、その分散の相対値s[i]が分かっている」という条件や「真値は(パラメータさえ正しければ)モデルで誤差なしに説明できる」という条件を満たせない場合も多い。なので、実務のセンスで言いますと、ANo.2の説明もまた適切であろうと思います。
No.2
- 回答日時:
物凄く簡単に言えば
何かの関数でフィッティングしたい
→誤差を小さくするようにしたい
という場合に、最も簡単に思いつくのは「誤差の絶対値を足してゼロ」というものです。
しかし、これでは絶対値の取扱いなど、計算が非常に難しい。
したがって、二乗を使う訳です。
平方根では、(予測値-実測値)がマイナスになったときに困ります。
三乗だと、(予測値-実測値)の符号が残ってしまうため問題があります。
4乗では、最適化の時に面倒があります。
二次関数を考えてもらえば分かりますが、二次関数は山や谷が一つだけです(単峰性と言います)。したがって一回微分だけを考えれば最小値が特定できます。
一方の4次関数では山や谷が複数(一般に三つ)あります。したがって、最小値を特定することが非常に難しくなります。
勿論、最小二乗推定量は特定の条件下において最良のもの(最良不偏線形推定量)であることは間違いないのですが、上記のような理由があります。
No.1
- 回答日時:
誤差をガウス分布に従うものとして扱っているからです。
ガウス分布に従うとすると、平均がmi、標準偏差σiである測定値を測定してyiというデータを得る確率は
Pi(yi) ~ exp[ -(yi-mi)^2/2σi^2 ]
となります。したがって、独立な測定をしてy1, y2, y3,・・・・という測定値が得られる確率はそれぞれの確率の積で
Pall(y1, y2, y3, ・・・・) =P1(y1) P2(y2) P3(y3) ・・・
~exp[ -(y1-m1)^2/2σ1^2 ]exp[ -(y2-m2)^2/2σ2^2 ]exp[ -(y3-m3)^2/2σ3^2 ] ・・・・
=exp[ -{(y1-m1)^2/2σ1^2 + (y2-m2)^2/2σ2^2 + (y3-m3)^2/2σ3^2 + ・・・} ]
=exp[ -(1/2)Σi { (yi-mi)/σi }^2 ] = exp(-χ^2/2)
ここで、
χ^2 = Σi { (yi-mi)/σi }^2
と定義する。
したがって、測定値の組{y1, y2, y3, ・・・} に対してPall(y1, y2, y3, ・・・・)を最大にしようとすればχ^2を最小にすればいいことがわかります。
y1, y2・・・のそれぞれについて標準偏差が全て同じσである場合には
χ^2 = Σi { (yi-mi)/σi }^2 = (1/σ^2)Σi (yi-mi)^2
となるので、χ^2を最小にすることは残差二乗和Σi (yi-mi)^2 を最小にすることに等しくなります。
これが最小二乗法の理屈です。
関数が一次式で与えられる場合には
mi = a xi + b
としてa, bの最確値を求めることになります。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- スピーカー・コンポ・ステレオ 電気交流の実効値と値が違う平均値ではオームの法則が成り立たない理由を教えて下さい。 4 2022/05/02 09:53
- 統計学 t検定について教えてください 2 2023/02/23 16:35
- 統計学 t統計量とF統計量について 9 2023/01/05 14:23
- JavaScript 最小二乗法 2 2023/01/01 20:57
- 統計学 t値の計算方法 1 2022/11/29 18:37
- 統計学 確率統計の問題です。 3 2022/04/07 04:39
- 物理学 誤差の問題についでです。 yがy=A+Bxの上に乗ると予想でき、以下の4個の測定値 (2,3.2±1 2 2023/04/25 00:54
- 数学 数学?算数の問題です どのような解答になりますか? 2 2022/04/22 04:46
- 数学 特定の座標点を通る回帰を行う方法について。 2 2022/10/10 10:27
- 統計学 統計学の問題です よろしくお願いします 回帰直線 次のデータから集計表を作成し,以下の問いに答えよ。 2 2023/01/31 23:36
このQ&Aを見た人はこんなQ&Aも見ています
おすすめ情報
このQ&Aを見た人がよく見るQ&A
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
誤差率 理論値が0の時
-
有効数字が整数部分の一桁で表...
-
集積公差について教えて下さい。
-
プラスマイナス1.5の範囲に...
-
最小二乗法は、なぜ「二乗」な...
-
データの相対誤差について
-
重み付き最小二乗法について
-
実験計画法、L18直交表への割り...
-
信号対雑音比について
-
回帰直線の傾きと切片の誤差
-
計算機で乗数の逆算をするには?
-
最小二乗法の重みづけについて...
-
測定したデータの誤差を計算す...
-
近似値をマクローリン展開を用...
-
Bland Altman について詳しい方...
-
中1 数学 資料の整理 誤差に単...
-
20人対象のアンケートに統計...
-
残差とは?誤差とは違う?
-
数値の誤差
-
Fold Changeで表すグラフにする...
おすすめ情報