最適化手法について

非線形方程式の最適化手法に様々な解法が、あると思いますが、「準ニュートン法」について、詳しくかつ簡単に
教えて頂けないでしょうか？微分や行列等が混在してきて
なぜ、そうなのか？と頭をかかえてしまいます。

目的関数として、「平面方程式」を例に説明していただけると助かります。

宜しくお願いします。

No.1 ベストアンサー 回答者： kony0 回答日時： 2003/02/11 23:54

初学者のかたで、準ニュートン法を詳しくかつ簡単に知りたいのであれば、

福島雅夫、「数理計画入門」（朝倉書店、1996）をご参照ください。

ただし、上の本では、ヘッセ行列そのものの近似についてしか言及していませんが、実際は「ヘッセ行列の逆行列」を近似的に生成していく方法がとられます。これについては、同じく
茨木俊秀、福島雅夫、「最適化の手法」（共立出版、1993）をご覧下さい。

準ニュートン法の特徴をざっくりと言葉でいってしまうと、
・数値計算が非常に重い「ヘッセ行列」を近似して計算量を軽くしようという考えがあり、
・本来ヘッセ行列の持つべき特徴「対称性」「正定値性」を備え持つヘッセ行列の近似を生成する再帰式として、BFGS法などがある
というところでしょうか。
しかも、BFGS法によって生み出される点列は、「大域的収束性」をもち（ニュートン法にない性質を補っている）、かつ「超１次収束」する（ニュートン法は２次収束で、それより劣るかもしれないが、最急降下法のような１次収束とは比べ物にならない）という性質があります。

ところで、目的関数を「平面方程式」を例にして、なにを説明したらよいのかわかりませぬ。
・実際の適用した点列をみて、どういうふうに計算するかが見たい？
・アルゴリズムの「対称性」「正定値性」「大域的収束性」「超１次収束」を証明されるのが見たい？
ご質問の文章に「なぜ、そうなのか？と頭をかかえてしまいます。」とあるので、後者なのでしょうか？それなら本を見てください。^^;

最後に、目的関数を「平面方程式」にしてしまうと、（制約なし最適化問題である以上）解はありません。（－∞までいってしまいますよね？というか、ステップ幅が求められなさそう…）

No.2 回答者： stomachman 回答日時： 2003/02/12 23:57

実務家向けの教科書としては、中川・小柳「最小二乗法による実験データ解析」東京大学出版会をお薦めします。

（理論家にとっては物足りないかもしれませんが）

また、ご質問の趣旨からは少しずれますけれど、非線形最小二乗法を簡単な問題に変換して取り扱う処方については、下記URLおよびその回答No.2にあるURLのリストが参考になると思います。

参考URL：http://oshiete1.goo.ne.jp/kotaeru.php3?q=198558