非線形最小二乗法のmarquardt法とsimplex法に関して

ほぼ一定の周期を持つデータがあり、それに対してy = a*cos(b*X+c)+d*X+eという形の近似式を求めたいと思っております。
いろいろ調べてみると非線形最小二乗法を利用して、求めればいいことが分かりました。
しかし非線形最小二乗法にはmarquardt法とかsimplex法などがあることが書かれていたのですが、それらの処理法が何をどうしているのか、参考書を見ても、よく分からず、脳が悲鳴をあげています。
この非線形最小二乗法のmarquardt法とsimplex法に関して、違いと求め方を素人でも分かるような形で教えていただくことができましたら、どうかご教授よろしくお願い致します。

No.1 回答者： noname#21649 回答日時： 2006/01/28 04:53

「素人」ということで極端に簡略化します。

最適解を求める方法として.残さが0となるように全部の項目を一度に変更すること
marquardt法

もっとも変化が大きい項目をひとつ選んで.(線形の場合には最小となるように.非線型の場合には.最小となる方向へ少しづつ移動して最初に超過した点に)移動すること
simplex法

ただ.目的関数をみると.積分して(自動制御とか制御工学の後半のZ変換あたりのを見てください)
a*cos(b*X+c)+
を消して
d*X+e
を決定した後に.
a*cos(b*X+c)+
をス゜クトル分席にかけたほうが簡単ではありませんか。
この式から直接最適解を見つけようとすると地獄を見るような気がするのですが。