回帰分析の検定？

こちらのカテゴリーで質問してよいのか、わかりませんが、
似た質問がこちらに多くあるので、質問させていただきます。

現在、回帰分析について勉強しています。
いろいろな本で勉強していますが、検定の方法がいくつも
説明されているものがあり、普通に回帰分析をやった場合は
どの検定をするのが普通なのでしょうか？

傾き＝０でないことを検定することが普通ですか？

変な質問で申し訳ありませんが、どうぞよろしくお願いいたします。

No.1 回答者： sanori 回答日時： 2011/05/12 23:26

こんにちは。

回帰分析（最小二乗法）というものを活用している人はとてもたくさんいますが、その「本質」を知らない人が非常に多いです。

回帰の「本質」と言うのは、実は、
「データをもとに、傾きが４５°または　－４５°の直線をつくる」
ということなのです。

ですから、あなたが言われる「傾き＝０」という回帰結果はありえないのです。

「検定」という言葉が適切なのかどうかわかりませんが、
それに相当する指標は、２つあります。
一つは相関係数、もう一つは標準偏差です。

相関係数というのは、言ってみれば、（上記と矛盾するようですが）４５°または－４５°という角度がどれだけ正しいか、というような指標です。
標準偏差は、直線の上下にどれだけデータが外れているかを表す指標です。

通常は、相関係数（ｒ）だけ気にすればよいです。
４５°の場合は、０＜ｒ＜１　で、－４５°の場合は　－１＜ｒ＜０　です。
ｒの絶対値が１に近いほど相関が強く、０に近いほど相関が弱いということです。
よく統計や品質管理の本には、ｒの絶対値が０．９以上もないと相関があるとは言えない、みたいなことが書かれていますが、私の仕事での経験では、０．７でも大きな意味があり、０．５～０．６でも相当の意味を持ったことがあります。

この回答へのお礼

ご回答ありがとうございます。

データによっては母集団で無相関があるかもしれないということで
検定を行うのかなぁと考えています。
母集団は実際、測定できるものではないと思うので。
悪魔でも標本から推定しているにすぎないため、検定を行う必要が
あるのではないかと思いますが、回帰分析では母集団に対して
検定を行わないのでしょうか？

また、この検定を行う以外に、回帰式の？有意性？を検定する方法があるのですが、
こちらも普通に行うものなんでしょうか。

お礼日時：2011/05/13 01:38

No.2 回答者： sanori 回答日時： 2011/05/13 02:04

＞＞＞回帰分析では母集団に対して検定を行わないのでしょうか？

私は最小二乗法については「検定」という概念は知りません。
普通は、検定といえば、「両集団が重なる確率・・・％の危険度」で考えると思います。

＞＞＞また、この検定を行う以外に、回帰式の？有意性？を検定する方法があるのですが、
＞＞＞こちらも普通に行うものなんでしょうか。

それが、前回述べた相関係数ｒのことです。

No.3 回答者： Iguchi_Y 回答日時： 2011/05/13 08:51

回帰分析を使用する立場から。

回答No1は，全く間違いです。

＞回帰の「本質」と言うのは、実は、
＞「データをもとに、傾きが４５°または　－４５°の直線をつくる」
＞ということなのです。

全然違います。

例えば，
y = ax + b
という回帰直線に対し，

a やｂが0でないか，どうか検定するのです。

EXCELを使った例が
http://www.aoni.waseda.jp/abek/document/regressi …
にありますので参考にして下さい。

だから
＞ですから、あなたが言われる「傾き＝０」という回帰結果はありえないのです。
は，全く間違いです。

上記サイトにも
係数の欄のt値，p値は推定された「係数が0である」という帰無仮説を検定したもの
と書いてあるとおりです。

私は，ホタルの発光周期に気温が与える影響を回帰分析したことがあります。
The Influence of Temperature on Flash Interval in the Genji-firefly Luciola cruciata (Coleoptera: Lampyridae)

そこでは，傾きが0かどうか，つまり，気温が変化しても，周期が変化しないか調べ，0でないとの結論を出しています。
つまり，直線を微分したときの
ｄｙ/ｄｘ= a
が0でない，と結論したわけです。

しかも傾きは，-0.2（約－10度）くらいです。

むしろ質問者の考えが正しい。

上記論文では，2地点の回帰直線を比較しています。

まず，傾きが有意に０でないことから，発光周期の温度依存性を示し，
両回帰の傾きに差がないこと
さらに，高さ（y切片）に差がないこと
を順に示してます。

こんなことをやるのが回帰分析です。

No.4 回答者： Iguchi_Y 回答日時： 2011/05/13 09:13

補足です。

回答NO1に
＞相関係数というのは、言ってみれば、（上記と矛盾するようですが）４５°または－４５°という角度がどれだけ正しいか、というような指標です。

これも全然間違いです。

例えば，以下のようなデータを調べてください。

x　y
1　1
2　1.1
3　1.3
4　1.4
5　1.5

回帰直線は
y = 0.13x + 0.87

と４５°とは全く異なりますが，

相関係数は
r＝0.99
と非常に高くなります。

つまり，相関係数は，両変数が，いかに直線に近く表されるか，を示し，
角度とは関係ありません。

No.5 回答者： sanori 回答日時： 2011/05/13 09:52

補足しますね。

回帰で得られる直線というのは、４５°や－４５°にしたときに、データの各点が直線のＸ方向とＹ方向に平等に散らばるように（平等に外れるように）できた直線なんです。
ですから、４５°か－４５°になるようにＸ軸とＹ軸のどちらかの目盛り間隔を広げるか縮めるかすると、それが見えてくるのです。

その本質を知らない人は、１名さんだけでなくたくさんいるのです。

論文などでも傾きが２５°もない平べったいへたくそなグラフを載せている例が散見されます。
そういうグラフを作ると、ＸとＹの相関を非常によく見せることもできるし、非常に悪く見せることもできます。
それはインチキです。
４５°、－４５°ぐらいにすれば、そういうインチキができなくなります。

平坦なグラフを描くとすれば、工場などで工程や検査での明らかな異常を発見する用途ぐらいです。

No.6 回答者： Iguchi_Y 回答日時： 2011/05/13 11:48

＞ＸとＹの相関を非常によく見せることもできるし

この点は，全く同意です。
そういうグラフは困ったことに確かにある。

＞目盛り間隔によって，４５°か－４５°にできる
も確かに，そのとおり間違いない。

私が言いたいのは，相関係数の値と回帰直線の係数は関係しないということ。

見た目，でなく，算出された数値を指摘している。

グラフ描写自体は，確かに，そういうことがあるが，
質問者が言う，最小２乗で求めた
y = ax +b
の直線の傾きaで45度と言えば，a=1のこと。

a=1になるかどうかと，相関係数が高いかどうか，必ずしも関係しない。

そもそも係数＝０かどうか検定は，普通にするのに，しないかのようなアドバイスは，おかしい。

もしかすると，説明不足かもしれないので，ぜひ，EXCELによるa, bの検定も分かりやすく説明してもらいたい。

No.7 回答者： Iguchi_Y 回答日時： 2011/05/13 20:17

補足です。

傾き＝０の検定と相関係数の検定は、全く同値です。

例えば、相関が０なら、傾きも０です。

先ほど挙げたEXCEL利用した回帰分析のサイトを見てください。

http://www.aoni.waseda.jp/abek/document/regressi …

回帰の分散比84.41...
は、
ｘ値１（傾き）の検定のｔ＝9.187の２乗になる。

この意味では、回答No1の意見も正しい。

No.8 回答者： sanori 回答日時： 2011/05/13 21:48

補足をします。

念のために申し上げておきますが、質問者さんのための質問者さんへの補足です。

１．
どこかの点を中心とする円があり、
その円の円周上に正確に等間隔で１周分プロットされた点データがあるとすると、
相関係数は正確にゼロとなります。
そして、このとき傾きは不定（０分の０）となります。

２．
全データのｘ座標の平均値をＸ、ｙ座標の平均値をＹとするとき、
回帰分析を行って得られる直線の方程式は、必ず点（Ｘ，Ｙ）を通ります。
その点に釘を打った直線の棒があるとして、その棒を回してどういう傾きになるかな？という話になります。
（Ｘ，Ｙ）を基準として全体的に右上がりの傾向があれば、相関係数ｒは正の値になり、右下がりの傾向があれば相関係数は負の値になります。
正の値になった途端、ｘ軸かｙ軸の目盛りの間隔を広がるか縮めるかして、傾きが４５°になり、
負の値になった途端、ｘ軸かｙ軸の目盛りの間隔を広がるか縮めるかして、傾きが－４５°になるというイメージです。
中間がないのです。
ｒの最大値は理論的に１で最小値は－１ですが、
０＜ｒ≦１　は右上がりを、－１≦ｒ＜０　は右下がりを表します。
ｒの値は、単純にｘとｙの変化の比から求めた単純な傾きとは無関係です。
ｒが正であれば４５°、ｒが負であれば－４５°を表します。

No.9 回答者： Iguchi_Y 回答日時： 2011/05/16 04:23

回答No8が，どうもわかりません・・・

通常の最小二乗法(Ordinary Least Square: OLS)のことでは，ないのでしょうか？

twitterでも，この話題を取り上げたところ，

＞線形回帰の回帰係数の検定は、「傾き=0でない」ことの検定ですね。無相関だと傾きは0です
http://twitter.com/#!/isseing333/status/68924359 …

との回答を得ているのだが・・・。

回答No8に
＞どこかの点を中心とする円があり、その円の円周上に正確に等間隔で１周分プロットされた点データがあるとすると、
とある。

例えば，
X　　　　　　　　　　　　Y
1　　　　　　　　　　　　0
0.707106781　　　0.707106781
0　　　　　　　　　　1
-0.707106781　　　0.707106781
-1　　　　　　　　　　　0
-0.707106781　　　-0.707106781
0　　　　　　　　　　-1
0.707106781　　　-0.707106781

のデータセットを考えよう。
0.707106781は，1/root(2)
であり，単位円
x^2+y^2=1
の周上に45度ずつプロットした点である。

これをEXCELのグラフにし，
近似曲線の書式設定でグラフに数式とR＾２を表示
としたものが添付図。

相関係数０だが，線形最小２乗式は，ｙ=0 つまり傾き０である。

また上記のデータをEXCELの組み込み関数（下記のカッコ）を用いて，解析すると，

相関係数（CORREL）＝０
直線の傾き（SLOPE）＝０
ｙ切片（INTERCEPT）＝０

と算出される。

繰り返すが，OLSで計算，検定してるのだろうか？

NO2回答で，
＞最小二乗法については「検定」という概念は知りません
と言ってるのに，なぜ，傾きの求め方などはわかるのだろうか？

ちなみに，あくまでOLSの話。EXCELなどの解析も通常はこれ。

回答No8は，何か通常と異なる回帰なのか，という気がする。

No.10 回答者： sanori 回答日時： 2011/05/16 06:32

円の場合に、ｘに対してｙの傾きが０という結果が出るなら、

逆関数として、ｙに対してのｘの傾きも０になるはず。
さて、それは何を意味しているのでしょうか？