AICやBICについて

Question

重回帰分析でのパラメータ増減で最適な組み合わせを選ぶ際に使用されているのはよく見かけます。
一般化線形モデルのリンク関数の違いや、残差に仮定する分布の違いについても比較可能なのでしょうか。

kamiyasiro · Accepted Answer

残差モデルが異なるとき、情報量規準の値が異なるのは当然なので、比較に用いることはできません。

例えば、link＝logit，family＝binomial のようなことを、情報量規準によって自動的に決めることが出来る、ということはありません。

以下、分かりにくいかもしれませんが、説明です。

ご存じのとおり、AICやBICは各データの対数尤度（確率密度を対数化して和を取ったもの）の逆数を使用しています。これは分布に適合していればしているほど小さな値を取ります。
特にBICは罰則項としてパラメータ数以外にサンプル数も考慮に入れています。

これら情報量規準を重回帰分析に使用した場合、なるべくシンプルな回帰式で、かつ回帰残差が正規分布にどれだけ適合するかを見ています。

重回帰分析（一般線形モデル）の残差は等分散の正規分布を仮定していますが、一般化線形モデルは、正規分布や等分散が崩れた場合に使用します。

例えばロジステック回帰であれば、目的変数が０と１のときは、残差は０になる二項分布です。また、例えばポアソン回帰では、残差は説明変数の平方根に比例して増えていき等分散ではありません。
これはリンク関数ではなく、残差モデル（family＝で指示する場合が多い）です。

つまり、リンク関数によって、残差に仮定される分布が二項分布やポアソン分布というように異なるのです。
その結果、計算される対数尤度も異なります。

よって、残差モデルが異なる場合、例えば情報量規準が最小の回帰式を採用したとして、ロジットよりポアソンが情報量規準が小さいからといって、ポアソンモデルが優れているという保証にはなりません。

それは、サンプルがたまたま良く適合する場所にプロットされていただけかもしれません。

リンク関数の良し悪しは、そのモデルが現実と合っているかどうか、という固有技術的判断が必要になります。というか、人間が先にリンク関数とそれに合う残差モデルを決める必要があります。

残差モデルが異なるとき、情報量規準の値が異なるのは当然なので、比較に用いることはできません。