回帰分析における「誤差の仮定」

企業でSQCを推進する者です。

回帰分析の際の誤差の仮定として、ガウス・マルコフの定理に基づく仮定を設定しますが、
教科書により、異なる記述が見られます。通常は、

1．不偏性：　E(εi）＝0
2．外生性：　E（εi｜x）＝0
3．分散均一性（等分散性）：　V（εi）＝σ^2
4．系列無相関性（独立性）：　Cov（εi，εj）＝0

1．2．で不偏推定が可能で、4．まで仮定するとBLUEになります。

計量経済学や医学統計などでは、これらは多くの教科書でキチンと記述されています。

しかし、工学の教科書では、2．が説明されず、代わりに不要な正規性　εi～N（0，σ^2）
が書かれています。
ひどいのになると、誤差ではなくデータの正規性が必要と書いてあるものもあります。

確かにｔ検定をするためには誤差の正規性が必要かもしれませんが、
そうでなくてもBULEになります。

正規性の記述に関して、経緯をご存じの方、
また、それは著者の理解不足だというご意見でも結構です。

教科書に基づいて教えるか、この記述は間違いだと指摘するか、悩んでいますので、
是非、ご助言をお願いします。

No.3 ベストアンサー 回答者： quaestio 回答日時： 2013/04/04 07:22

> 外生性を外すのはどうお考えですか。

線形不偏推定量が存在するために必要であるなら外せません。
例えば、
Y = Xβ+ε
X：係数行列
β：未知母数
ε：誤差項
という単純なモデルなら、
(X'X)^(-1) X'Y　　　（'は転置行列、^(-1)は逆行列）
でβを推定しますが、これが不偏推定量になるには、
E[(X'X)^(-1) X'Y] = E[(X'X)^(-1) X'(Xβ+ε)]
= β + (X'X)^(-1) X'E[ε] = β
即ち
X'E[ε] = 0
であれば良いことになりますが、これは必ずしも
E[ε] = 0
である必要はないですよね。
もっとも、
X'E[ε] = 0 かつ E[ε] ≠ 0
という状況は考えにくいですが。


> 系列間無相関（独立性）が不要とおっしゃるのですか！

Cov（εi，εj）＝0
である必要はありますが、これは独立であることを意味しません。

この回答へのお礼

ご回答ありがとうございました。

外生性の件、自分でも納得できましたので、
今後は、「外生性は、この教科書には書いてないが重要な条件」だと
ガウス・マルコフ仮定の説明とともにキチンと教えることにします。

ところで、ついでに「独立の仮定」についてご存知でしたら教えて下さい。

εi，εjが確率変数であるとき、
同時確率　P(εi，εj)＝P(εi)×P(εj)　であることが、
独立の定義であることは承知しており、
独立であれば無相関になるが、
無相関であっても独立にはならないことがあることも理解しています。
代表的な反例として、円周上にサンプルが布置されるケースを
若いころに教わっています。
ですから、ご回答者様のご指摘は「ごもっとも」であると思います。

では、なぜ、工学分野の教科書が、回帰の条件として、
「系列無相関性」と言わず「誤差が独立」と教えているのでしょうか。
（実は、マダラ（訳書）も独立と書いてありました）
でも、説明に用いている式は「共分散が0」なんですよね。

私は企業でSQCを推進する立場にあり、
社内教育の講師を務めています。
その立場で言うと、工学分野の著名な先生が書かれた教科書であっても
気に入らないというか、謎が多すぎます。

是非、コメントお願いします。

お礼日時：2013/04/05 05:19

No.4 回答者： alice_44 回答日時： 2013/04/05 19:30

＞ 「正規性の仮定は必要」派でよろしいですか。

＞ また、「外生性の仮定は不要」とお考えですか。
＞ 理由はなんでしょうか。

既に、私より詳しい方が回答しておられますね。

正規性は必要なのではなく、仮定しても構わないだけです。
工学上の応用では、正規誤差で扱える対象が多いんでしょう。
検定の計算がよく解っているということも大切ではありますが、
そう仮定しても実用上支障ないことの方がむしろ重要かと。

外生性の仮定は不要なのではなく、正規性と独立性を仮定すると
外生性は導かれるという話です。A No.1 には、そう書きました。
独立と無相関の関係も、先の正規性の話と同じで、
独立性が必要なのではなく、独立性を仮定しても実用上支障ない。
独立を仮定すると、無相関は導かれるということでしょう。

必要性と十分性の違いを、よく考えてみるとよいのでは？

この回答へのお礼

ご回答ありがとうございます。

質問の意図が伝わっていないようで、すみません。
私も応用統計で学位を取った身ですから、
必要性と十分性の区別くらいは分かりますよ。

その上で、
＞ 独立性が必要なのではなく、独立性を仮定しても・・・
言いかえれば、必要性もない独立性を要求し、
それは、BLUEな推定には実用上なんの役にも立っていない
ということが疑問なんです。

もうひと方のご回答者様が納得できる回答をお寄せ頂いておりますとおり、
ガウス・マルコフの仮定が基本です。

教科書の誤りは指摘して、正しい「誤差の仮定」で講義を進めようと思います。

どうもありがとうございました。

お礼日時：2013/04/05 23:36

No.2 回答者： quaestio 回答日時： 2013/04/03 22:25

> 誤差ではなくデータの正規性が必要と書いてあるもの

は論外ですが、


> 工学の教科書では、2．が説明されず、代わりに不要な正規性　εi～N（0，σ^2）,
> が書かれています。

については、これがガウス・マルコフの定理に必要な仮定とされているのであれば間違いですが、ガウス・マルコフの定理を説明しないのであれば、誤差分布を正規分布に限定することは、検定も可能になることから理解できます。

不要な条件といえば、４のカッコ書きの独立性も不要ですよね。

この回答へのお礼

ご回答ありがとうございます。

確かに、ガウス・マルコフの定理を説明してそれに必要な仮定として、
正規性をあげたら間違いですね。
検定を可能にするということで、加えるのは間違いではない、というのは納得できます。

同様に「検定で必要」ということを考えると、
分散分析に必要とされる「正規性の仮定」を回帰でも必要と勘違いしているのではないか
と思われるフシもあります。

ところで、ご回答者様は、外生性を外すのはどうお考えですか。

それから、系列間無相関（独立性）が不要とおっしゃるのですか！

お礼日時：2013/04/04 00:51

No.1 回答者： alice_44 回答日時： 2013/04/03 14:46

εi ～ N(0,σ^2) と共に、εi と x の独立性が仮定されていれば、

E(εi｜x) = E(εi) = 0 です。

ところで、BLUE って何ですか？

この回答へのお礼

ご回答ありがとうございます。
ご回答者は、「正規性の仮定は必要」派でよろしいですか。
また、「外生性の仮定は不要」とお考えですか。
理由はなんでしょうか。

正規性の仮定は強いので、
E(εi)＝0，Var(εi)＝σ^2　は包含されますが、E(εi・xi)＝0は言えません。
内生性バイアス（同時方程式バイアス）が発生してしまう。
だから、εiと説明変数xの独立性すなわち外生性の仮定を外すのはおかしいと思うのです。
中には、説明変数の高次項まで拡張して「強外生性」を主張している本もあります。

一方、正規性仮定は、εi～N(0，σ^2・I)とまでは言っていないので、
Cov(εi，εj)＝0の独立性条件は外せない。
結局、正規性の仮定とは何なのか、と思います。

なお、BLUEはすぐヒットすると思いますが、
Best Linear Unbiased Estimator（最良線形不偏推定量）です。

お礼日時：2013/04/03 22:08