赤池情報量基準AICとベイズ情報量基準BIC

赤池情報量基準AICとベイズ情報量基準BIC

シミュレーション実験ではBICの方が良い結果を与えると聞きますが、何故そうなるのか教えてください。
繰り返し誤差が存在しないことが原因でしょうか？

No.1 ベストアンサー 回答者： kzkz_tool 回答日時： 2013/02/21 15:05

こんにちは。

だいぶ前の質問のようですが，回答させていただきます。
まず，AIC，BICは数式的には，
AIC=－2{対数尤度}＋2{モデルパラメータ数}
BIC=－2{対数尤度}＋log({サンプルサイズ}){モデルパラメータ数}
とあらわされます。
第1項は，モデルの当てはまりを表すものですので，当てはまりが
良いほど小さくなります。また，同じデータでは関係ありませんが，
サンプルサイズが大きくなれば，小さくなります。

第2項は，「罰則項」とも呼ばれ，パラメータ数が多いほど(すなわちモデルが
複雑になるほど)大きくなります。
あてはまりが良くても滅茶苦茶複雑なモデルは好ましくないということで，
いずれの指標も，当てはまりが良く，なおかつシンプルなモデルが
志向される指標といえるでしょう。

AICとBICの数式的な違いは第2項ですが，AICは，罰則項がサンプルサイズによらず，
サンプルサイズが大きいときに，第1項の比重が大きくなり，複雑なモデルが選ばれがちに
なります。その点BICは罰則項もサンプルサイズの関数ですので，AICよりもシンプルな
モデルが選ばれがちです。

ただし，そもそもの考え方のベースが両指標で異なります(AICは尤度推測，
BICはBayes推測)ので，モデルパラメータの推測ストラテジに合わせる必要がある
と考える人もいます。たとえば，モデルパラメータをBayes流で推定するならば
BIC，最尤法で求めるならAICというように。必ずしもこのように用いなければならない
というコンセンサスはないとは思いますが。

以上，ご参考まで。