回帰分析で「有意な相関がある」という言葉はあり得るのか

　回帰分析（単回帰、重回帰）において、例えば単回帰では「2つの間には有意な正の相関関係が認められる」という日本語はあり得るのでしょうか。そもそも、回帰分析において相関関係の有意性を検定する検定方法というものが存在するのでしょうか。または、相関係数や決定係数で判断するしかない（例えばr2が0.8以上なら精度が高い）のでしょうか。
　また、回帰式や回帰係数の有意性の検定といわれているものは母集団に対する検定ということですので、今回の質問の答えに当てはまらないと考えていますが、この考えは合っているのでしょうか。

No.2 ベストアンサー 回答者： at9_am 回答日時： 2006/04/27 01:11

＃１です。

補足します。

> 新たな疑問ですが、t検定とは回帰係数の有意性の検定を指すのでしょうか。

前回の回答にも書きましたが、係数の推定値は、少なくとも漸近的には正規分布します。また、分散の推定量は漸近的にχ^2分布しますので、ｔ検定を行うことが出来ます。

> 回帰式自体を分散分析によってF値から検定する方法でも同じことなのでしょうか。

回帰式自体の検定を行うと、回帰係数一つ一つに対してではなく、回帰係数全体の検定を行うことになります。したがってｔ検定と同じではありません。

> 説明変数を増やせば決定係数値は上がりますが、自由度修正済み決定係数であれば問題はない

R^2 は、関数のフィットの良さの指標で、工学では屡々用いられるようであり、あまりこのような議論にはなじみません。
実は、自由度修正済み決定係数でもあまり問題は解消されていませんし、新たな問題(R^2が負になり得る)も発生します。更に問題なのは、この自由度修正の項の理論的な基礎付けがかなり弱いという点です。
研究の場では、普通はモデル選択は、AICまたはBICと呼ばれる情報量基準を用いて行われます。

> 回帰分析の場合、有意性の評価のみではなく決定係数との評価が必要だと考えますがいかがでしょうか。

関心が係数の大きさであれば、そのような評価は無用です。
例えば最小自乗法で
y = b0 + b1 x1 + b2 x2 + u
というモデルが正しいモデルであったが、
y = a0 + a1 x1 + v
というモデルを推定したとします。ここで、最小自乗法で通常おかれる仮定から x1 と v は無相関であったとします。
このとき a1 と b1 は一致します(ただし分散の推定量は x2 によって影響を受けます)が、R^2 は x2 の分だけ小さくなります。
したがって、R^2 がどうであれ係数の推定値は影響を受けないことが分かります。

もし x1 と v が無相関でなかったとしても、操作変数法や GMM といった方法を用いることによって、同様なことが出来ます。

この回答へのお礼

再度のご回答、ありがとうございました。分かりやすく説明いただいたので理解もしやすかったです。大変参考になりました。

お礼日時：2006/04/27 09:04

No.1 回答者： at9_am 回答日時： 2006/04/15 07:03

> 「2つの間には有意な正の相関関係が認められる」という日本語はあり得るのでしょうか。

普通にあります。
帰無仮説：相関関係がない、対立仮説：正の相関関係がある、とおくと、帰無仮説の下で検定統計量を求めた場合、ある一定水準以下でしか起こらない値となったとき、帰無仮説は棄却され、対立仮説が採択されます。この場合、有意に正の相関関係が認められる、と言います。

> そもそも、回帰分析において相関関係の有意性を検定する検定方法というものが存在するのでしょうか。

存在します。最もメジャーなのはｔ検定です。これは、係数の推定値が少なくとも漸近的に正規分布に従うことに依拠します。

それから、決定係数は、無意味とは言いませんがあまり意味がないです。例えば、決定係数を上げたければ、何でも良い(乱数でも可)ので説明変数を増やせばよいのですから。

この回答への補足

　早速のご回答ありがとうございます。
　新たな疑問ですが、t検定とは回帰係数の有意性の検定を指すのでしょうか。回帰式自体を分散分析によってF値から検定する方法でも同じことなのでしょうか。
　また、説明変数を増やせば決定係数値は上がりますが、自由度修正済み決定係数であれば問題はないことを考えますと、自由度修正済みであればかなり意味のある係数ではないのでしょうか。
　さらに、検定によって有意性（相関がある）が認められたのにも関わらず、決定係数が非常に低い（R2=0.3程度）ケースが見られます。このため、回帰分析の場合、有意性の評価のみではなく決定係数との評価が必要だと考えますがいかがでしょうか。もしくは、私の計算ミス・勘違いなのでしょうか。
　なにぶん、統計学をあまり理解しておりませんので見当違いな質問かもしれませんが、よろしくお願いいたします。

補足日時：2006/04/17 16:51