現在AIC(赤池情報量規準)について勉強しています。
対数尤度/平均対数尤度/期待平均対数尤度
といった似た言葉が多く混乱しています。
以下の記述は私の理解を整理したものですが、おかしな点はあるでしょうか?
-----------------------------------------------
以下のように記号を定義する
θ:未知のパラメータ
θ*:真のパラメータ
θ★:パラメータの最尤推定量
K:モデルの自由パラメータ数
対数尤度:l(θ)
平均対数尤度のn倍:l*(θ)
期待平均対数尤度:l'*(K)
統計モデルの良さを評価したいとき
●(K-L情報量)が小さい(0に近い)モデルほど良いモデル
↓
●(K-L情報量)は (定数)-(平均対数尤度) で表されるので
(平均対数尤度)が大きいほど良いモデル
↓
●(平均対数尤度のn倍)が大きいほど良いモデル
(∵nは標本数であり一定だから)
↓
●(平均対数尤度のn倍)の不偏推定量である(対数尤度)が最大になるような未知のパラメーターθ★を求める。これが最尤推定値。
↓
●(平均対数尤度のn倍)に最尤推定値θ★を代入した、
l*(θ★)が大きいほど良いモデル
↓
●l*(θ★)は、得られた標本 x_i (i=1,2,…,n) に依存する値
(∵最尤推定値θ★はx_iによって表される) なので、
l*(θ★)の x_i (i=1,2,…,n) についての期待値をとると
これが(期待平均対数尤度) l*'(K) となり、この値が大きいほど良いモデル
↓
●とはいえ、真のモデルが未知であるため、(期待平均対数尤度)は
実際には求められない
↓
●(期待平均対数尤度)の不偏推定量である l(θ★)-K が大きいほど
良いモデル
↓
●歴史的経緯により、l(θ★)-K を-2倍した値が、AIC(赤池情報量規準)
であり、AICが小さいほど良いモデル
以上
-----------------------------------------------
ここまでで、どこかおかしなところはあるでしょうか?
よろしくお願いします。
No.1ベストアンサー
- 回答日時:
用語に関しては、新しい記号とその名称をあれもこれもと導入しすぎると混乱する。
そういうときには定義に戻って、最低限の用語と記号で書いた式で表現しなおせば(長くはなりますが)混乱は解消できます。ところで、K-L情報量
I(P*,P) = - ∫ P*(y) ln(P*(y) / P(y))dy
は、2つの確率密度関数P*, Pのずれの指標ですね。I(P*,P)≧0で、=になるのはP*=Pのときだけ。これを
P* : 未知の確率密度関数
P : P*に従うサンプルにモデルを当て嵌めて推定した確率密度関数
と解釈して、Pの推定の良さの評価に応用しようと言う訳ですが、P*が未知なんで、これじゃ計算のしようがない。
さて、赤池先生が証明したのは、適当な条件のもとで
( I(P*,P) + (定数)) を (- ln(P*に従うサンプルとモデルから決まる最大尤度) + (モデルの自由度)) で推定できる
ということ。つまり、P*が未知でも、P*に従うサンプルとモデルを与えればI(P*,P)が(定数を除いて)推定できる、ってことです。
「…ほど良いモデル」というのはあくまでも価値観の話なんで、この証明そのものとは直接関係ない。でも、AICの意味の本質を捉えていらっしゃるように思います。
証明を点検することを通して、この推定法がどんな条件下でどれぐらい旨く成り立つか、つまり裏返せば、破綻するのは例えばどんな場合で、その場合どんな原因でどの程度ひどく破綻するか(全然駄目になるのか、それとも、おおまかな目安ぐらいになら使えるのか)という、AICの限界を見極めることが重要でしょうね。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 統計学 統計学の質問【最尤法】 1 2023/05/09 00:21
- 統計学 確率統計の問題です。 3 2022/04/07 04:39
- 統計学 統計学の問題です。よろしくお願いします。 ある部品の重量は正規分布に従うとされており,過去の経験から 1 2023/01/19 03:36
- 大学・短大 大学 統計学 1 2022/09/14 11:27
- 統計学 風速を1秒刻みで推定する方法 6 2023/03/03 11:58
- 統計学 標準誤差の求め方 2 2022/07/04 19:59
- 統計学 統計学が分かりません!詳しい解説と回答を教えてくださる方お願いいします! 5 2022/08/23 03:10
- 統計学 不偏分散について 3 2022/03/29 15:57
- 数学 数学の問題です。 問1: ある(人数の非常に多い)集団から無作為に6名を選んで身長を測ったところ、そ 2 2022/12/09 12:03
- 統計学 t値の計算方法 1 2022/11/29 18:37
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
パーセントの平均の計算式。 42...
-
パーセントの合計と平均について
-
1週間当たりの労働時間の計算方法
-
日本人男性の平均身長172cmと言...
-
Excelで平方2乗平均を計算するには
-
EXCELでの利益率の出し方
-
エクセルで過去5年間のデータ...
-
算数の問題です。
-
平均年齢の計算
-
中3でFカップは大きいですか? ...
-
パーセントの平均について。 パ...
-
自分の部屋
-
建築におけるAGLとは何なの...
-
小学6年の女子で800メートルの...
-
中学1年生の課題で数学レポー...
-
風向の平均値
-
一ヶ月 10回 1回平均8km(7km~10...
-
<>が平均を表す記号として使わ...
-
エクセルでの幾何平均がエラー...
-
フランスの平均的な労働者の月...
おすすめ情報