マルコフ過程の定常状態を利用しての確率問題について

１匹のハツカネズミがリング形の円形籠内に入れられている。籠は通路で連結された３つの仕切り１，２，３をもっている。ハツカネズミは１時間に２回、仕切り１から仕切り２へ行き、１から３へ４回行く。また、２から１へ６回、２から３へ４回行く、最後に３から１へ３回、３から２へ１回行くことが実験的に長期にわたり観察されている。ハツカネズミはt=0で仕切り１にいることが観察された。１５分の終りに、ハツカネズミが仕切り１にいる確率はいくらか。
連続マルコフ過程に対する微分方程式は
dP1/dt=-6P1+6P2+3P3,
dP2/dt=2P1-10P2+P3,
dP3/dt=4P1+4P2-4P3 で、
定常状態確率は平衡方程式をといて、P1(∞)=3/8,P2(∞)=1/8,およびP3(∞)=1/2となる。
ここまでは理解できますが、これから先が良く解りません。
係数行列の特性根はつぎの方程式を満たす：
{{-6 - r, 2, 4},{6, -10 - r, 4},{3, 1, -4 - r}} = 0　
これよりr=0,-8,および-12が得られる。
この辺りの計算の仕方は出来ますが、以降不明な事ばかりです。

それゆえ、過程に対する微分方程式の解はつぎの形をとる：
P1(t)=3/8+A1e^-8t +A2e^-12t
P2(t)=1/8+B1e^-8t +B2e^-12t
P3(t)=1/2+(-A1-B1)e^-8t +(-A2-B2)e^-12t
この式はどの様な導出過程から現れるのかお教え下さい。

第３方程式の係数は、すべてのtの値に対し、P1(t)+P2(t)+P3(t)=1を満たすようでなければならないことに注意せよ。
もし、P1(t),P2(t),およびP3(t)に対するこの解を、いま３微分方程式のどれかの１つに代入する、たとえば、初めの式に代入すれば、定数間のつぎの関係式が得られる：
-8A1e^-8t -12A2e^-12t = -6A1e^-8t -6A2e^-12t +6B1e^-8t +6B2e^-12t +3(-A1-B1)e^-8t +3(-A2-B2)e^-12t
この関係式の具体的な導出過程をお教え下さい。

それゆえ、e^-8tとe^-12tとの係数を等しく置くと、つぎの２つの方程式が展開される：
-8A1=-6A1+6B1-3A1-3B1
-12A2=-6A2+6B2-3A2-3B2
そこで、B1=A1/3およびB2=-A2が得られる。
何故e^-8tとe^-12tとの係数を等しく置くと２つの方程式に出来るのか具体的な導出過程をお教え下さい。また、何故e^-8tとe^-12tとの係数を等しく置く事が良いのかお教え下さい。

他の２方程式に代入しなくて、１つの微分方程式に代入するだけで十分である。これは理論から示唆されていた。もちろん、その理由は、３定数がすでに定常状態値として決定されているということである。そして、これらの値は系を満たす。
そこで、この特殊なマルコフ過程の微分方程式の解は、
P1(t)=3/8+A1e^-8t +A2e^-12t
P2(t)=1/8+A1/3 e^-8t -A2e^-12t
P3(t)=1/2-4A1/3 e^-8t
である。

任意の定数の正しい個数がいま存在し、これらの定数は、初期条件P1(0)=1,P2(0)=0,P3(0)=0から、1=3/8 +A1+A2,および0=1/8 +A1/3 -A2を満たすように、決定されなければならない。これらより、A1=3/8およびA2=2/8が得られる。
A1=3/8、A2=2/8は式を計算して求める事は出来ますが、どの様な事を言っているのか解りません。お教え下さい。（この初期条件を代入するなりした？その導出過程を丁寧に示して下さい。）

微分方程式と境界条件を満たす最終解は
P1(t)=3/8+(3/8)e^-8t +(2/8)e^-12t
P2(t)=1/8+(1/8) e^-8t -(2/8)e^-12t
P3(t)=1/2-(1/2) e^-8t
である。そこで、ハツカネズミが、t=1/4において１にいる確率は
P1(1/4)=3/8+(3/8)e^-2 +(2/8)e^-3 =(1/8)3e^3+3e+2/e^3で約0.44である。
最後は単に数値を代入しているだけのようなので解ります。

No.2 ベストアンサー 回答者： ramayana 回答日時： 2011/01/05 20:37

（１）　行列による表記

P1(t)、P2(t)、P3(t)を縦に並べた列ベクトルをP(t)とします。

微分方程式の係数行列をGとします：
　　G = ((-6, 6,3),(2,-10,1),(4,4,-4))
　　（(-6, 6,3)を第1行、(2,-10,1)を第2行、(4,4,-4)を第3行とする行列。以下同様とします。）

すると、微分方程式は、

[1] dP(t)/dt = GP(t)

と表すことができます。

（２）　対角化により微分方程式を解く

Gの固有値0,-8,-12を対角成分に持つ対角行列をHとします：
　　H = ((0,0,0),(0,-8,0),(0,0,-12))

すると、適当な正則行列Mにより、
　　G = M^(-1)HM

と表すことができるので、微分方程式はdP(t)/dt = M^(-1)HMP(t)、すなわち、dMP(t)/dt = HMP(t)となります。Q(t)=MP(t)と置けば、

　　dQ(t)/dt = HQ(t)

となります。成分ごとに表すと、

　　dQ1(t)/dt = 0
　　dQ2(t)/dt = -8Q2(t)
　　dQ3(t)/dt = -12Q3(t)

となります。Q(t)の各成分をQ1(t)、Q2(t)、Q3(t)としました。この微分方程式は、簡単に解けて、

　　Q1(t) = α
　　Q2(t) = e^(-8t) + β
　　Q3(t) = e^(-12t) + γ

となります（α、β、γは定数）。P1(t)、P2(t)、P3(t)がQ1(t)、Q2(t)、Q3(t)の一次結合だから、結局、適当な定数A1、A2、A3、B1、B2、B3、C1、C2、C3により、

[2] P1(t) = A3 + A1e^(-8t) + A2e^(-12t)
　　　P2(t) = B3 + B1e^(-8t) + B2e^(-12t)
　　　P3(t) = C3 + C1e^(-8t) + C2e^(-12t)

と表すことができます。後の作業は、これらの定数を決定することです。

（３）　定数の決定その１

定数を決定するために使える条件は、次のとおりです。

　　(1) [2]式が[1]式の解であること
　　(2)　初期条件　P1(0) = 1、P2(0) = 0 、P3(0) = 0
　　(3)　P1(t) + P2(t) + P3(t) = 1

また、(1)からの帰結として、次が言えます。
　　(4)　P1(∞) = 3/8、P2(∞) = 1/8、 P3(∞) = 1/2

[2]式でt→∞とすれば、(4)により、A3 = 3/8、B3 = 1/8、 C3 = 1/2が得られます。さらに[2]式を(3)に代入して、A3+B3+C3=1も考慮して、

　　(A1+B1+C1)e^(-8t) + (A2+B2+C2)e^(-12t) = 0

となりますが、関数e^(-8t)と関数e^(-12t)が一次独立であることから、A1+B1+C1=0、A2+B2+C2=0となります。以上により、ご質問の中の

[3] P1(t) = 3/8+A1e^-8t +A2e^-12t
　　　P2(t) = 1/8+B1e^-8t +B2e^-12t
　　　P3(t) = 1/2+(-A1-B1)e^-8t +(-A2-B2)e^-12t

が得られます。

(続く）

No.3 回答者： ramayana 回答日時： 2011/01/05 20:39

ANo.2の続きです。

（３）　定数の決定その２

　あと、残っている未知数はA1、A2、B1、B2の4個で、残っている条件は、(1)のうちの(4)以外の部分と、(2)です。

[3]式の第１行目を微分して、

　　dP1(t)/dt = -8A1e^(-8t) - 12A2e^(-12t)

となります。これを、[1]式の第１行目

　　dP1(t)/dt=-6P1(t)+6P2(t)+3P3(t)

の左辺に代入し、右辺には[3]式を代入すると、

　　-8A1e^(-8t) -12A2e^(-12t)
　　 = -6A1e^(-8t) -6A2e^(-12t) +6B1(e^-8t) +6B2(e^-12t) +3(-A1-B1)e^(-8t) +3(-A2-B2)e^(-12t)

が得られます。これは、ご質問の式です。「e^-8tとe^-12tとの係数を等しく置く」とありますが、これは、舌足らずで、「左辺のe^(-8t)の係数と右辺のe^(-8t)の係数が等しく、また、左辺のe^(-12t)の係数と右辺のe^(-12t)の係数が等しい」と解釈すべきです。関数e^(-8t)と関数e^(-12t)が一次独立だからです。

　　左辺のe^(-8t)の係数 = -8A1
　　右辺のe^(-8t)の係数 = -6A1+6B1-3A1-3B1
　　左辺のe^(-12t)の係数 = -12A2
　　右辺のe^(-12t)の係数 = -6A2+6B2-3A2-3B2

ですから、

[4] -8A1 = -6A1+6B1-3A1-3B1
　　　　-12A2 = -6A2+6B2-3A2-3B2

となります。これは、ご質問の式です。ご質問で引用されている記述の、後の部分は、私にも意味不明です。要は、次のようなことだと思います。初期条件(2)を[3]式に代入して、

[5] 3/8+A1 +A2 = 1
　　　1/8+B1 +B2 = 0
　　　1/2+(-A1-B1) +(-A2-B2) = 0

となります。[4]と[5]で条件式が5個となり、未知数の個数より多いように見えますが、[5]の3つの式は一次従属ですから、実質的には、4個の条件であって、未知数の個数に一致します。よって、これらを解いて、A1、A2、B1、B2が決定されます。

「他の２方程式に代入しなくて、１つの微分方程式に代入するだけで十分である。」とありますが、これの意味を詮索するよりも、上で得られたP1(t)、P2(t)、P3(t)を実際に[1]式に代入して、微分方程式の解になっていることを確かめるほうが、シンプルだと思います。

この回答へのお礼

解らなかった微分方程式の使い方が、例題での解の導出過程の御回答で少し解るようになりました。大変有難う御座いました。

お礼日時：2011/01/15 17:04

No.1 回答者： Tacosan 回答日時： 2011/01/05 11:55

最初の部分だけは線形代数を知らないと難しいけど, それ以外は解析の知識だけでできるところ... というか, 一部は「たんに代入するだけ」だったりするので, 「丁寧に」は書きません.

まず最初の「それゆえ」付近は (線形代数を知っていれば簡単なだけど) 大雑把にはその前の連立微分方程式から P2(t), P3(t) を消去する. その結果 P1(t) に関する 3階の微分方程式になって, その解が
P1(t) = 3/8 + A1e^-8t + A2e^-12t
のように書ける, ということ. P2(t), P3(t) についても同様で, ただし 3つの和が恒等的に 1 になることを考慮すると係数は 4個ですむ (3つの和が恒等的に 1 であることを最初から使うと 2階で十分でもある).
その次の「この関係式の具体的な導出過程をお教え下さい。」は, その直前に書いてある通り素直に代入して計算するだけ.
次の 2つの方程式は単に係数を比較しただけ. 係数を比較していいということは e^-8t と e^-12t が独立であることから. 逆に言えば「係数が等しくなかったら関数として等しくないでしょ」ってことでもある.
さらに次の「任意の定数の」の段落のところは初期条件を代入しただけ. ただし, この段落の (少なくとも) 最初の文は日本語としておかしい. おそらく, 原文の構造をきちんととらえられていない.

この回答へのお礼

大変有難う御座いました。

お礼日時：2011/01/15 17:11