AICについて教えてください

　線形自己回帰モデルの次数選択の指標となるAIC（赤池情報量基準）のもつ意味について教えて下さい。
　

No.2 ベストアンサー 回答者： stomachman 回答日時： 2001/01/13 21:54

>「ランダムなノイズしかない、と仮定したときに、自由度を増やすことでどの位残差が小さくなるか」を予測する式を作る。

ということで良いと思います。これをゆっくり読んで戴ければ分かると思うのですが、ここで言う予測式は「データの変動を予測する式(＝モデル)」のことではありません。 そうではなくて、「モデルの自由度を増やしたとき、どれだけ残差が減るか、を予測する式」のことです。
　たとえば、２次元(x,y)平面上に4個の点が与えられ、これにfitする１次式を作れと言われたら、残差が出ます。２次式y=ax^2+bx+cにしたら言われたら残差が小さくなります。もう一つパラメータを増やして３次式にしたら、この場合モデルは全部の点を通り、残差は絶対に０になるということが確実に「予測」できますよね。だからといって、３次式が一番良いモデルなのか？たとえば１次式のモデルの時に、すでに残差が（データに含まれるノイズレベルを考慮したときに）ランダム変動であると解釈出来るんであれば、それ以上次数を増やしたのは、単にノイズに惑わされているだけじゃないの？
　ということなんですよ。疑問点あれば、ご遠慮なく補足してください。

この回答へのお礼

ありがとうございました。

ここで言う予測式は「データの変動を予測する式(＝モデル)」のことではありません。 そうではなくて、「モデルの自由度を増やしたとき、どれだけ残差が減るか、を予測する式」のことです。

この説明ですっきりしました。今後ともよろしくお願いします。

お礼日時：2001/01/13 22:13

No.1 回答者： stomachman 回答日時： 2001/01/13 03:10

AIC（A Information Criterior, Akaike's Information Criterior）はかなり難しい理屈なんですが、要するに「モデルがなるべくシンプルで、かつデータをよく説明するようなものであるか」ということを評価するための指標です。

　モデルの自由度を増やせば、当然モデルはデータをよく説明するようになる。だからモデルとデータのずれ（残差）が小さくなる。
　でも小さくなり方が問題である。モデルの自由度を増やしても残差が余り小さくならない場合、それはデータにそれ以上系統的な変動がなくて、ランダムなノイズしか残っていないということだ。
　だから逆に、「ランダムなノイズしかない、と仮定したときに、自由度を増やすことでどの位残差が小さくなるか」を予測する式を作る。それに比べて、実際にモデルの自由度を増やすことによって残差が小さくなる効果が勝るようなら、それ（自由度を増やすこと）は妥当だが、さもなければ無駄に自由度を増やしただけであると判定する。
　てなところでいかがでしょうか。

この回答へのお礼

早々のご助言誠にありがとうございました。浅学故、ご回答に少し質問があるのですが、ご教示願えますか。

「ランダムなノイズしかない、と仮定したときに、自由度を増やすことでどの位残差が小さくなるか」を予測する式を作る。

という個所ですが、ランダムなノイズのみとかていした場合、予測式をたてる意味は失われないでしょうか。つまり何らかの時間相関構造が時系列を構成する系に存在することを仮定する必要はないのでしょうか。たとえば相関次元が有限値で飽和すなどの・・・。素人考えなおので誤りがあるかもしれませんが、よろしくお願いします。

お礼日時：2001/01/13 18:50