経験ベイズの使い方

Question

当方、統計の専門ではありません。

最近、ベイズ推定を勉強し始めました。
事前分布を選択する予備解析として、
経験ベイズを試そうかと考えていますが、
下記のような経験ベイズの使い方は、
１）マナー違反にならないか、
２）そもそも手続きとしておかしい部分がないか、
（その他、考えられうるメリットやデメリットなど）
コメントなど頂けますと幸いです。

アカデミアからの見地か、RDからの見地か、
明記して頂けますと助かります。

よろしくお願い致します。


【背景】
勉強し始めの現状は、
MCMCサンプラーを用いて事後分布を推定する、
推定の相場や挙動が掴めてきたところです。

自分の研究への適用方針として、
なるべくアンバイアスな事前分布には一様分布を用いようと
考えていますが、定義域の設定で幾分かのバイアスは避けられません。
（尤度関数は正規分布を想定しています）

そこで、事前に実測データから事前分布の当たりをつけ、
経験ベイズを実施してみようと考えています。

経験ベイズ用の実測データはまだ未取得のため、なんとも言えませんが、
おそらく単峰性か二峰性（各峰は正規分布様）、あるいは指数分布様と見込んでいます。

実測データを用いて推定した事後分布を確認しておき、
改めて、実測データの計測域より広域（恣意的な範囲）で定義した
一様分布を事前分布として、事後分布を推定し直そうと思っています。

一様分布を用いて推定した事後分布を、先に経験ベイズで得た事後分布との
類似性で評価しようと考えています（各種事後推定値やKS検定を検討中です）。

成果をまとめる際は、
　１）「一様分布を用いて推定した」（経験ベイズには言及しない）
　２）「経験ベイズにより条件検討後、一様分布を用いて推定した」
の２パターンの文脈を考えています。

rabbit_cat · Accepted Answer

ちょっと修正。

非正則(Improper）な事前分布を使えるのは、やっぱり、ベイズ推定ではなくて、ＭＣＭＣのときだけですね。

それから、
無情報の事前分布としては、正規分布を使うのは、やっぱり、ちょっと良くないと思うので、
一様分布か、コーシー分布にするのがよいでしょう。

rabbit_cat · Answer

まず、原理的には、ＭＣＭＣ（というか、ベイズ推定）では、
範囲が (-∞, +∞) の一様分布を事前分布として使うことが可能です。
「非正則な事前分布」といいます。

ただ、使うソフトによっては、範囲無限大の一様分布を事前分布に設定できないかもしれません。
たとえば、stanでは使えますが、BUGS系は（たぶん）使えないと思います。
その場合は、範囲 [-A, +A]としておいて、Aを十分大きな値にしておけばよいと思います。
こだわりたいなら、Aを変化させて、事後分布が変化しないかどうかを確かめればよいです。

事前分布を決めるのに経験ベイズを用いるのは、それこそ、
事前分布が（一様分布ではない）なんらかの偏った分布に従うと考える根拠がある場合
のみにしたほうがよいと思います。
例えば、「事前分布（事後分布ではなく）が単峰性か二峰性になるはずだ」と思える根拠がある場合。
本当に何の知識もないのであれば、経験ベイズなんかを使うと、逆に、事後分布に変なバイアスが入ることになると思いますよ。
非正規な一様分布あるいは、正規分布、あるいは、半コーシー分布みたいな、特徴のない分布にするのが一番よいと思います。

ちなみに、「思います」と少し曖昧に書いたのは、この
・何の事前知識もないときに、事前分布をどう設定するのがよいのか
（もっといえば、そもそも「事前分布」とはいったい何なのか。データによってパラメータを推定するのであって、データが何もないときの「分布」とはいったい何のか）
というのは、古典的統計学の人が、ベイズ統計学を批判する最も大きなポイントでして、深入りすると神学論みたいなことになるので。

経験ベイズの使い方

ちょっと修正。

まず、原理的には、ＭＣＭＣ（というか、ベイズ推定）では、

似たような質問が見つかりました

関連するカテゴリからQ&Aを探す

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング