非線形の多変量解析のやり方

非線形の多変量解析のやり方を教えてください。
例えば二次関数の場合です。

書籍やサイト等ご存知でしたら、
教えていただけますか？
ただ素人レベルで統計には詳しくないので、
あまり深い知識が必要としなくとも、
とりあえずできるようになるレベル
のものだとありがたいです。

よろしくお願いします。

No.1 回答者： kamiyasiro 回答日時： 2017/05/29 00:41

企業でSQCを推進する立場の者です。

2次項、積項を作って、列を増やしてから
重回帰分析などを行います。

その際、元の変数から必ず平均を引いて掛け算して下さい。
この操作を中心化といいます。

積項は中心化した値の積を使えばいいですが、
2次項は中心化して2乗した値をさらに中心化して下さい。
これを再中心化といいます。

これらの操作は、意図しない線形制約（交絡）が
入らないようにするための操作です。

詳しくは、応答曲面法の解説、例えば、
吉野ら「シミュレーションとSQC」日本規格協会JSQC選書
をご覧ください。

ただ、この本はアマゾンの書評にあるように、ちょっと
マニアックかもしれません。

なお、元の変数がp個あると、積項だけでも、
pC2個生成され、列の数が、行の数（サンプル数）を
上回る可能性があります。
すると、これは過飽和といって、解析できませんので、
普通のソフトだとエラーになります。

こんなときは、正則化の技術を使う必要があります。
正則化は、スパースモデリングともいわれる最新手法です。
これについては、別途、質問を立てて下さい。

このほかに、指数関数やロジット関数に近似する方法として、
非線形回帰がありますが、
ご質問は、２次関数への近似なので、
上記の方法が良いでしょう。