logを含む式への最小二乗法の適用

はじめまして、今回初めて質問させていただきます。
早速ですが質問させていただきたいと思います。

今、最小二乗法を勉強しているのですが、logを含む式への適用方法や、公式などを調べてもなかなか見つけることができませんでした。
今回適用したい式というのは
y = ax^2 * log(b) + cx + d
という式です。

二次曲線への適用の仕方はわかるのですが、logが含まれる式への適用がどうしてもわからないのです。
わかる方はお手数ですが協力お願いいたします。

No.3 回答者： mocapapa89 回答日時： 2008/10/22 01:39

Excelソルバではどうでしょうか(最近こればっかり)。

非線形の最小二乗法は数値的に解くのがよろしいかと思います(その解くもののことをソルバと言います)。このようなソルバを使えば、最適化の常道として目的関数f=Σ[yi-(axi^2*log(b)+cxi+d)]^2を最小にするようなa,b,c,dを求めることができます。

参考URL：http://office.microsoft.com/ja-jp/excel/HA011245 …

No.2 回答者： echoes_x86 回答日時： 2008/10/18 02:08

あなたが本気で

f(a,b,c,d) = y - (ax^2 * log(b) + cx +d)
に関して，Σf^2 を最小化しようとしているなら，
log(b)が存在するために微分して零云々の方法はそのまま使えません．
評価関数を微分して零にして云々は誤差項がパラメターの二次関数であるときだけ有効だからです．
二次関数以外の関数では微分して零の点は極大値か極小値であり，最小値である保証が何処にもないからです．
この場合は非線型最小二乗法と呼ばれ，一発で解を求める方法はありません．
この場合，Gauss-Newton法などが良く使われます．
これは適当な初期解から始めて反復的に解を改良してゆく方法です．

a*log(b)を一つの係数としてまとめて良いなら，
線型最小二乗法なので二次関数への当てはめで良いでしょう．

No.1 回答者： sanori 回答日時： 2008/10/18 00:10

こんばんは。

１つの点（ｘk、ｙk）の、求める曲線からのずれをεkと置けば、
εk　＝　ａｘk^2＊logｂ　＋　ｃｘk　＋　ｄ　－　ｙk

二乗誤差は、
εk^2　＝　（ａｘk^2＊logｂ　＋　ｃｘk　＋　ｄ　－　ｙk）^2

二乗誤差の合計をＳとすると、
Ｓ　＝Σ[k=1→n]εk^2
　＝　Σ[k=1→n]（ａｘk^2＊logｂ　＋　ｃｘk　＋　ｄ　－　ｙk）^2

ここで、ｘ1～ｘn、および、ｙ1～ｙn はデータ、つまり、既知の数値なので定数です。
逆に、ａ、ｂ、ｃ、ｄの４つは、変数です！！！

二乗誤差の合計を最小にするということは、二乗誤差の合計が極小になる条件を求めるのと同じです。
極小とは言っても、変数が４つありますから、それぞれの変数について極小の条件を立てることになります。
そして、極小の条件とは、ａ～ｄについて、偏微分したものが、それぞれゼロになることです！！！

ですから、
∂Ｓ／∂ａ　＝　０
∂Ｓ／∂ｂ　＝　０
∂Ｓ／∂ｃ　＝　０
∂Ｓ／∂ｄ　＝　０
を満たすａ、ｂ、ｃ、ｄ　を求めれば、最小二乗法ができたことになります。

∂Ｓ／∂ａ　＝　∂／∂ａ・Σ[k=1→n]（ａｘk^2＊logｂ　＋　ｃｘk　＋　ｄ　－　ｙk）^2
　＝　Σ[k=1→n]ｘk^2＊logｂ・２（ａｘk^2＊logｂ　＋　ｃｘk　＋　ｄ　－　ｙk）
　＝　０

∂Ｓ／∂ｂ　＝　Σ[k=1→n]ａｘk^2＊１／ｂ・２（ａｘk^2＊logｂ　＋　ｃｘk　＋　ｄ　－　ｙk）
　＝　０

∂Ｓ／∂ｃ　＝　Σ[k=1→n]ｘk・２（ａｘk^2＊logｂ　＋　ｃｘk　＋　ｄ　－　ｙk）
　＝　０

∂Ｓ／∂ｄ　＝　Σ[k=1→n]２（ａｘk^2＊logｂ　＋　ｃｘk　＋　ｄ　－　ｙk）
　＝　０

という連立方程式になります。
（どっか、計算を間違えていたら、ごめんなさい。）

以上で考え方は終わりです。
あとは、表計算ソフトなどを利用して計算するとよいでしょう。


ところで、
ａlogｂ　って、一体で１つの定数として扱えるので、
単なる二次関数への回帰でよいと思うんですが。
（いずれにしろ、最小二乗法の考え方は、上記のとおりです。）

この回答へのお礼

わかりやすい解説ありがとうございます。
数学の苦手な私でもなんとか理解できました。
これを用いて最小二乗法の適用をしてみたいと思います。

お礼日時：2008/10/19 16:29