統計学について

現在独学で統計学を勉強しているのですが、さっぱりわからないことがあります。
古典的回帰モデルとは一言でいうと何で、なんのためにややこしい仮定が五つも存在するのですか？
またB.L.U.E.というのも一体全体何なのでしょうか
まじで簡単な言葉で説明してもらいたいです！！

No.2 ベストアンサー 回答者： kamiyasiro 回答日時： 2022/04/18 14:36

ご質問の内容は高度なので、簡単ではありませんが、説明します（長文失礼）。

面倒なら一番下だけ読んでください。

古典的回帰モデルとは、たぶん一般線形モデルのことで、

・一般線形モデル
・一般化線形モデル
・一般化加法モデル

というように拡張されていく回帰モデルの一番最初のものです。
一般線形モデルは、y＝a＋β1x1＋β2x2＋・・・というような線形式で表されるモデルです。β1，β2を（モデル）パラメータと言います。
一般化線形モデルはパラメトリックだけど、誤差が等分散であるという縛りが外れます。ロジスティック関数や指数関数をリンク関数として、その引数の部分に線形モデルを突っ込みます。
一般化加法モデルはノンパラメトリック回帰になります。

注）パラメトリックというのは、あらかじめ決まったモデルパラメータ（回帰係数βi）があって、それを解くというモデルです。ノンパラはそれがいくつあるか分からない状態で解いていきます。


さて、5つの仮定とは、

「ガウス・マルコフの定理」：誤差に関する4つの仮定
①不偏性　：E(εi)＝0（誤差の期待値は0）
②外生性　：Cov(Xi,εi)＝E(εi|Xi)＝0（誤差は説明変数とは無相関であり不偏）
③等分散性：Var(εi)＝σ^2（誤差はどこでもσ^2）
④独立性　：Cov(εi,εj)＝0（誤差どおしは無相関）

①②でOLSが不偏推定量に
③④でOLSがBLUE（最良線形不偏推定量）になる。というものです。

OLSがBLUEとは、簡単に言えば、最小2乗法で求めた解（OLS）が最尤法で求めた解と一致するということです。
最尤法とは、観測値の同時確率が最大になるようにフィッティングさせる方法で、平均値ですら基本は最尤法で求められます。

⑤XTXが正則であるという仮定
重回帰分析の偏回帰係数βを求める式は、最小二乗法で解くと、

β＝(XTX)^-1・XT・y

であり、XTXの逆行列が存在しなければ解けません。つまり「XTXは正則行列である。」という仮定を設けなければなりません。もし、正則でないと、

Var(β)＝(XTX)^-1・σres^2

なので、正則でない場合は、割る0となって、β分散が無限大となってしまいます。
つまり、解が定まらないということです。

注)逆行列は、1/det(XTX)・(余因子行列)ですが、正則でないときdet(XTX)＝0となりますから、割る0となるのです。


現代的な回帰では、XTXが正則で無くても解くことができる正則化回帰があります。
リッジ回帰とかラスー回帰です。
近年ではスパースモデリングと呼ばれています。
一般線形モデル、一般化線形モデルが解けるようになります。
ただし、罰則係数のようなハイパーパラメータ（超パラメータ＝モデルパラメータを決めるパラメータ）を学習により決める必要があります。機械学習といいます。

注）機械学習とは、横軸にハイパーパラメータ、縦軸にMSEなどの損失関数をとったときに、損失関数が最小のところを探し出すアルゴリズムの総称です。

さらに今日では、ランダムフォレスト回帰やサポートベクター回帰など分類器を使用した回帰が出てきました。
これらは等高線情報は与えますが、回帰式は出てきません。つまりモデルパラメータ（回帰係数）を解くというものではありません。ノンパラ回帰です。

まとめると、単純なy＝f(x)の形をしている古典的な回帰では、最小2乗法で手軽に解きたいために、いくつかの縛り（仮定）を設けている、ということです。

No.1 回答者： kamiyasiro 回答日時： 2022/04/17 01:57

お役にたてるかどうか分かりませんが、説明を試みたいと思います。

その前に、ご質問中の語句について逆にお伺いしたいです。①②です。

①古典的回帰モデルの定義は？
古典的と現代的はどこで線引きしているのでしょうか？
一般線形モデルと一般化線形モデルで分けています？
それとも、正則化回帰以降を現代的としています？
あるいは、分類器を使った回帰などを現代的とするのでしょうか？

②５つのややこしい仮定って？
一般線形モデルにおける誤差の仮定であるガウス・マルコフの定理では仮定は４つ。５つ目は、それに加えてXTXが正則であることを挙げているのですか？
あるいは、全く違う仮定があるのでしょうか？
前者であれば、古典的回帰モデルを一般線形モデル（重回帰分析）と考えれば、話はつながりますね。


あと、最小2乗法は最尤法の特殊ケースであることは、勉強されているテキストに出ていましたか？

また、疑問に感じていらっしゃるのは、ガウス・マルコフの定理の最初の２つで不偏推定量になり、４つとも満たせがBLUEになる、という点ですか？
でも５つ目の仮定が分からないため、そこじゃない気もします。