非線形回帰式のパラメータ推定について

あるデータの予測値がこの関数に当てはまると考え
関数のa,b,y∞のパラメータを推定したいと考えています．

そこで実値と予測値の誤差から，最小２乗法を用いてのパラメータ推定は行いました．
が，初期値に依存することから，別のパラメータ推定を考えています．
そこで最尤法を用いたいと考えているのですが，この場合どのような確率密度関数になりますか．
その後パラメータで偏微分を行い，ニュートン法により最適解を求めたいと考えています．
こちらの方法も初期値に依存することは理解していますが，
文献より最尤法の初期値は最小２乗法で求めた値を使用しようと考えています．

要はこの場合，最尤法でパラメータ推定はできるのか．
どのような手順で行うのか．
最小２乗法と何が違うのか．

の回答をよろしくお願いします．
また，似たようなことを行っている文献紹介などもしていただけると嬉しいです．


式は，添付ファイルにて．

No.2 回答者： stomachman 回答日時： 2013/12/16 23:53

ご質問で扱っていらっしゃるのは

　y[j] = 世帯当たりの自動車の保有台数
　x[j] = 年度
というデータのようです。そうするとANo.1のコメントにある、

> 誤差発生モデルは平均1.64の分散30.45
> 0～2.5,7.5～10に頻度が集中するふたこぶラクダ状態

だというyの誤差の分布に関する詳細な情報が、一体どうやって得られたのか。各年度xについて、「世帯当たりの自動車の保有台数を何度もサンプリングし直して測定したときの、結果のばらつきの分布を調べる」という手間を掛けなくてはそんな情報は得られない。「ふたこぶラクダ」と言うためには、「何度も」というのが少なくとも数百回を越えるに違いない。その調査が毎年行われただなんて、とても現実的とは考えられない。おかしな話です。

　唯一可能な解釈はこうじゃないかな：
　「誤差発生モデル」と仰っているものは、実は誤差発生モデルなんかじゃなくて、単に、残差の分布なのではないか。
　すなわち、ご質問のグラフに描かれた曲線と、そこに○印で示されたデータとの縦方向のずれ（これを残差(residue)と言う。誤差ではない。）を全部集めてプロットしてみたら、「平均1.64の分散30.45で、 0～2.5,7.5～10に頻度が集中するふたこぶラクダ状態」のヒストグラムが得られた、ということを仰ってるんじゃないだろうか。違いますかね。

　一方、最尤推定の話や、それを受けてANo.1で議論されているのは、（残差ではなく）誤差、つまり「yの測定値に含まれている測定誤差」の分布です。これは、どんな曲線をフィッティングしたかということとは全く無関係であり、ただ、データ(x[j],y[j])(j=1,2,…,N)について、そのデータ自体の含んでいる誤差についての話をしている。

　つまり、質問者氏は、残差と誤差を混同なさっているんじゃないか。

　そう仮定すると、「初期値に依存する」と仰るのも理解できます。すなわち、ある曲線をフィッティングしたときに得られた残差の分布を、間違って【誤差の分布】だと思った上で、その分布についての最尤化を考えている（もちろん、そんなのナンセンスです）。残差の分布はどんな曲線をフィッティングしたかによって異なるから、「初期値に依存する」という話になっている。

　このような勘違いをなさっているのだとすると、yの観測における誤差の分布については、おそらく何の情報もお持ちでないのでしょう。ならば、フツーに非線形最小二乗法を用いれば、その結果は「モデル（図にお示しの式のことです）が理論である。そしてyは、どの年度xについても同じ正規分布に従う誤差を持つ」と仮定したときに、最尤推定になっています。

この回答へのお礼

返信おそくなりました。
ありがとうございます。

回答者様のおっしゃるとおり、残差と誤差を勘違いしていました。

なので、誤差分布を正規性のあるものと考えます。
それで推し進めていくと、なるほど。
最尤推定の作業が結局最小２乗法と一致するのですね。
よって、誤差確立が正規分布なら最小２乗法で行うことが可能で、
正規性から離脱しても、推定が行える手段として最尤推定があるのですね。

参考書等で記述はありましたが、やっと理解できました。
ありがとうございました。

お礼日時：2013/12/25 22:43

No.1 回答者： rabbit_cat 回答日時： 2013/12/08 17:49

＞が，初期値に依存することから，別のパラメータ推定を考えています．

？？？、何が？　最小２乗法の推定には「初期値」なんてものはありませんが。

まあ、いいや。

再尤推定でのパラメータ推定をするためには、誤差発生のモデルが事前知識として必要です。
質問では、これが与えられていないので再尤推定はできません。
（あえて言えば、最小２乗法の推定が、再尤推定そのもの）

たとえば、
y=f(x,θ)で、θを推定したい場合であれば、

θが真のパラメータθ0であった場合に、x=x0のときの、yの観測値は、
y0 = f(x0, θ0) + δ
となるはずです。ここで、δは、観測にともなうノイズ（誤差）です。
で、実際には、この観測誤差δは、その分散などが、xに依存しているはずです。
これを誤差発生のモデルといいますが、再尤推定では、これを事前知識として使います。

たとえば、xが大きいときには、より大きな観測誤差が出やすい、などと分かっていれば、観測データ(xi,yi）のうちで、xiが小さいほうをより重視する、とかができるわけです。

もし、誤差発生のモデルに関して何も事前知識がなければ、とりあえず、
・観測誤差は、どのｘについても同様に発生する
とするしかありません。
実は、この場合は、再尤推定は、最小２乗法による推定そのものになります。

この回答へのお礼

回答ありがとうございます．


関数から予測値を求めるに当たって，適当な初期値を入れてプロットし，
実データと似せてから，最小２乗法を使用しパラメータ推定を行いました．
（エクセルのソルバーを使用）

この初期値は，実データが存在することから，初期値を入れました．
しかし，実データ数を減らした場合，与える初期値によっては見当外れの予測値が出てしまう
ということです．
しかし回答からもわかる通り，最尤法でのパラメータ推定も誤差発生モデルに基づくのなら
同じことですね．

誤差発生モデルは平均1.64の分散30.45
0～2.5,7.5～10に頻度が集中するふたこぶラクダ状態です．
これが正規分布ならL(μ,σ^2)=(2πσ^2)^(-n/2)exp{}となるのですね？
今回の場合はどのようになるのでしょう．
ファイルが添付できなくて申し訳ありません．

>実は、この場合は、再尤推定は、最小２乗法による推定そのものになります。
参考書等で単回帰の場合を取り扱ってました．非線形の場合も同じ原理でなるのですか．

お礼日時：2013/12/09 10:52