回帰分析の評価指標で、RMSEとR^2の使い分けを教えてください。

Question

angkor_h · Accepted Answer

RMSE　…期待値(曲線)に対する誤差の分散指標になります。
R^2　…期待値曲線に対する相関指標で、1に近い程良い値です。
使い分けではなく、併せて使います。

kamiyasiro · Answer

#2です。何度もすみません。

MSEやRMSEの使い方というか、モデルの決定方法を図解しておきます。

縦軸がMSE、横軸が変数選択数です。

訓練用データだけ用いると、どんなゴミのような変数を取り込んでも、どんどんフィッティングしていきます。いわゆる過学習の状態になります。

例えば、メタボリックシンドロームを説明するモデルで、一日の摂取カロリー量や一日の運動量までは良いとして、好きな映画のジャンル、読んでいる小説を説明変数に取り込んでもフィットしていきます。

一方、そのモデルに、訓練用データとは別の検証用データを代入すると、一日の摂取カロリー量や一日の運動量までは、同様にMSEは小さくなりますが、好きな映画のジャンルあたりから、フィッティングの良さは逆転していきます。

この調査をクロスバリデーションで行い、クロスバリデーションのMSEが一番小さくなるところで、学習をストップさせモデルを決定します。

kamiyasiro · Answer

#2です。補足させて下さい。

逆に、R*^2やR**^2をモデルの良し悪しの指標として用いることは誤りです。

なぜなら、用いるデータのｎ（データ数）やｐ（変数の数）で補正された数値であり、データ依存だからです。それゆえ、モデル間の比較には使えないのです。

R^2はそのような問題はありません。

kamiyasiro · Answer

MSEやRMSEは回帰残差の平方和で、モデル選択（変数選択）の際の指標として使います。そもそも、最小２乗法とは、Se（MSEの平均を取る前の値）を最小化するという基準で回帰係数を求める手法です。

一方、R^2（重決定係数・寄与率）は、モデル決定後（変数選択が終わった後）に使用する、そのモデルがどれくらい説明されているかというモデルの良し悪しの指標です。

注意点としては、モデル選択（変数選択）の際の指標として使うことはできません。

なぜなら、R^2は、どんなゴミのような変数を取り込んでも、どんどん良くなってしまうからです。

モデル選択（変数選択）の際の指標として使うときは、R*^2（自由度調整済み寄与率）やR**^2（自由度二重調整済み寄与率）を使います。

逆に、R*^2やR**^2をモデルの良し悪しの指標として用いることは誤りです。

整理すると、

RMSE，MSE・・・モデル決定プロセスで使用する指標（データに依存するので、モデル間の比較評価には使えない）
R^2・・・モデル決定後のモデル評価指標（比較に適する）

となります。

RMSE …期待値(曲線)に対する誤差の分散指標になります。