回帰分析の回帰係数のt検定

単回帰分析の時、回帰係数のt検定の公式って、
傾き/√(残差平方和/ n-2/説明変数の偏差平方和）
であってますか？

No.1 ベストアンサー 回答者： kamiyasiro 回答日時： 2024/01/25 00:55

合っています。

公式ではありませんが、無証明で使用しても良いと思います。

単回帰分析における回帰係数の帰無仮説H0:β＝0に対するｔ値は、βの0からの乖離をβの誤差で基準化したものだから、

to＝(回帰係数の最小2乗推定値)／(βの標準誤差)

ここで、βの標準誤差σβは、残差分散をVεとすると、

σβ＝√(Vε／Sxx)

さらに残差分散Vεは、Seを残差平方和とすると、

Vε＝Se／(n－推定数)

推定数は、単回帰分析では、α，βの2個だから、Vε＝Se／(n－2)
これらをまとめて書くと、

to＝β^／σβ＝β^／√(Vε／Sxx)＝β^／√{(Se／(n－推定数))／Sxx}

これは自由度(n－2)のｔ分布に従います。


統計ソフトによっては、分散分析結果を示すものもありますが、同じ検定結果になります。

この回答へのお礼

ありがとうございます！

お礼日時：2024/01/25 09:48

No.2 回答者： kamiyasiro 回答日時： 2024/01/30 00:25

まだ閉じられていなかったのですね。

σβ＝√(Vε／Sxx)

の導出が疑問だったのではないかと思い、補足します。

上式の両辺を２乗すると、

V(β)＝Vε／Sxx になりますが、この一般形（重回帰分析版）は、

V(β)＝(XTX)^-1・σres^2　（XTはXの転置）

なのです。この式は、「重回帰分析の回帰係数分散」の式で、この導出ならネット上に多数見られます。

また、これはビッグデータにおける重回帰分析の破綻の理由としても用いられます。
つまり、説明変数が200変数もあると、XTXは19900の独立した解が必要ですが、データがn＝5000程度だと、それを解くことができず、XTXがランク落ちします。すると、det(XTX)がほぼ0となるので、V(β)が無限大になるのです。
β分散が無限大ということは、結果的に解けていないということです。


脱線してしまいましたが、XTXはXが１列しかない時は２乗和です。その逆行列は逆数となり、最初の項は1／Sxxとなります。
σはresの添え字が付きますが、resは残差のことで、その２乗ですから誤差分散Vεということです。

よって、

V(β)＝Vε／Sxx

となります。

他の説明は宜しいですよね。