決定係数がマイナスになる例ってどんな感じですか?

https://mathtrain.jp/ketteikeisu
で「あまりにもひどいモデルを考えると決定係数がマイナスになる」と書いてありましたが実際にはどんなモデルが決定係数をマイナスにするのですか?

No.2 ベストアンサー 回答者： kamiyasiro 回答日時： 2019/06/27 05:21

企業でSQCを推進する立場の者です。

単回帰分析では絶対に生じません。なぜなら、いくら分子を大きくしようと思っても、回帰係数が0のときでも、y変動（全変動）と誤差変動は一致してそれ以上大きくならないからです。

重回帰分析では起こり得ます。あの式の分子の誤差変動を求める式において、例えば、右上がりの散布図のときに右下がりの推定式ｆができれば、推定値と実測値の差が大きくなります。
#1さんが言われるように、推定式ｆの回帰係数βがトンデモない（符号が逆転するような）値になるケースですが、そうなるデータとしては、説明変数行列Xのランクがほぼ落ちているようなときです。卑近な事例では、A，B，C，Dという説明変数があり、DにA，B，Cの平均値が入っていて、列間に線形制約が成立するようなときです。

元来、最小２乗誤差を小さくしようという基準で重回帰分析のβを求める式が出来ているのですが、

β＝(XTX)^-1・XT・y

このとき、回帰係数βの推定精度というかばらつき（分散）V(β)は、

V(β)＝(XTX)^-1・σres^2

となります。Xのランクが落ちていると、rank(X)＝rank(XTX)なので、XTXのランクが落ちてdet(XTX)がほぼ0になります。するとV(β)が無限大となり、トンデモないβが計算されることがあります。

よく社内でも、なんでR2は2乗値なのにマイナスの値が表示されているんですか、と質問がありますが、そのような回帰結果が出るデータセットを見せてもらうと、XTXのdet値が10のマイナス10乗のようにほぼ0になっています。

実際にデータを作ってやってみて下さい。

この回答へのお礼

わかりました。
分析とかそういうのはほとんどやってないので言葉を調べてやってみます。

お礼日時：2019/06/27 12:43

No.1 回答者： tknakamuri 回答日時： 2019/06/25 22:49

分母は弄れないので、分子のfをとんでもない値にすればよい。

-100でも-10000でも簡単です。

この回答へのお礼

なるほど。つまりデータと予測値の差をとんでもない値にすればいいんですね。

お礼日時：2019/06/27 12:35