タイトルどおりシャノンの結合エントロピーについてなんですが
結合事象系A,Bが存在する場合、
Pi = p(Ai ∩ Bj)
H(AB) = -∑∑Pij log Pij
= -∑∑p(Ai ∩ Bj) logp (Ai ∩ Bj)
= -∑∑p(Ai)p(Bj | Ai) log p(Ai)p(Bj | Ai)
.
.
.
H(AB)= H(A) + H(B | A)
という式になるのはわかるのですが、結合事象系A、B、Cと3つ存在する場合の式の展開がわかりません。
参考書によると上記の式を基に
H(ABC) = -∑∑∑Pijk log Pijk
で求めることができると書いてありましたが、上記の式のような展開の仕方が私ではできません。
特に、条件付確率部分の展開がわかりません。
ネットでいろいろ調べましたが、どこも結合事象系が2つの場合の結合エントロピーの解法しか見つかりませんでした。
どなたかご教授お願いします。
No.2ベストアンサー
- 回答日時:
ANo.1のコメントについてです。
> p(Ai ∩ BjCk)
∩と積の表記を使い分けていらっしゃるけれども、p(Ai ∩ BjCk)ってのは「AiとBjCkが同時に生じる確率」という意味であり、それは「AiとBjとCkが同時に生じる確率」と同じ事、すなわち普通の書き方をすればp(Ai, Bj, Ck)のことでしょう。
p(Ai, Bj, Ck) = p(Ai | Bj, Ck) p(Bj, Ck) = p(Bj | Ck, Ai) p(Ck, Ai) = p(Ck | Ai, Bj) p(Ai, Bj)
= p(Ai, Bj | Ck) p(Ck) = p(Bj, Ck | Ai) p(Ai) = p(Ck, Ai | Bj) p(Bj)
何も難しいことはないんじゃ?
> p(Ai),p(Bj),p(Ck)とそれぞれの生起確率で上記の2つの値を算出できるのでしょうか?
2つ以上の系の結合エントロピーを考えているからには、系同士が独立ではないと仮定している。つまり、p(Ai),p(Bj),p(Ck)だけでは算出できないからこそ、結合エントロピーを求めているんじゃありませんかね。
> p(AilBjCk) > p(BjCk) > の値がでてきません。
> それともBiCkをひとつの事象系としてp(BiCk)を与えてあげないといけないのでしょうか?
ご質問で「解法」と仰ってるのが引っ掛かってました。えーとですね、p(Bj, Ck)を使って書くか、p(Bj | Ck)を使って書くか、p(Ai, Bj, Ck)を使って書くか…は、目的によります。「値がでてきません」という話じゃなくて、「どういうデータを持っていて、それを使って何をしたいか」に合わせて式を作るんです。
たとえば、H(A,B)を計算したい場合、H(A)とH(B|A)が幾らなのか分からないのなら
H(A,B) = H(A)+H(B|A)
という公式を知っていても意味ないですよね。その際に、もしp(Ai, Bj)が全部分かっているなら、単に
H(A,B) = -∑∑p(Ai, Bj) log(p(Ai, Bj))
を計算すりゃよくて、H(A)やH(B|A)なんざどうでも良いわけです。
という風に、どういう式を構成するかは、その目的によるのです。
で、ご質問の場合には、「H(A,B,C)やH(A,B|C)やH(A)その他いろいろ…の間に成り立つ様々な関係式を得たい」という漠然とした目的であろうかと思われますので、ならば様々な関係式を導いてみるとよろしいかと思います。
長文ありがとうございます。お手数かけます。
> 2つ以上の系の結合エントロピーを考えているからには、系同士が独立ではないと仮定している。つまり、p(Ai),p(Bj),p(Ck)だけでは算出できないからこそ、結合エントロピーを求めているんじゃありませんかね。
すいません、書き忘れてました。その3つだけでなくp(Ai|Bj),p(Ai|Ck),...と条件付確率も含めてです。
ほぼ独学なので、参考書の公式だよりに式を導いてるつもりなんですが、3つ以上の事象系での生起確率を導き出したことがありません。ですので
p(Ai,Bj,Ck)=p(Ai | Bj, Ck) p(Bj, Ck) =・・・・
を知りませんでした。
>ご質問の場合には、「H(A,B,C)やH(A,B|C)やH(A)その他いろいろ…の間に成り立つ様々な関係式を得たい」という漠然とした目的であろうかと思われますので、ならば様々な関係式を導いてみるとよろしいかと思います。
漠然とした内容で申し訳ないです。文章を書くのが苦手なうえ、相手に物事を伝えるのが苦手でして。
ずばりいうと、求めたいのはp(Ai,Bj,Ck)です。
そして、書いてて気づいたのですが、書いていただいた
p(Ai,Bj,Ck)=p(Ai | Bj, Ck) p(Bj, Ck)=・・・
が私のほしい式でした。
あとは自力で導いて見ます。ありがとうございました。
No.1
- 回答日時:
Pijk = p(Ai, Bj, Ck)
H(A,B,C)=-ΣΣΣPijk log(Pijk)
こりゃH(A,B,C)の定義ですな。
系Bと系Cをひとまとめにした系Dを考え、事象DjkとはBjとCkが共に生じること、すなわち
Djk = (Bj,Ck)
だと定義する。すると、
p(Djk)=p(Bj,Ck)
p(Ai | Djk) = p(Ai | Bj,Ck)
Pijk = p(Ai, Djk)
H(A,B,C) = H(A,D)
は自明。これで系2つが結合した場合に帰着するんでは?
この回答への補足
回答ありがとうございます。そこまでは私も考えました。
ですが、
p(AilBjCk)がわからないんです。
例えば、
結合エントロピーを求める上で
p(Ai ∩ BjCk)
の値が必要なのですが、これは
p(Ai ∩ BjCk) = p(BjCk)*p(AilBjCk)
となりますが、
p(AilBjCk)
p(BjCk)
の値がでてきません。
p(Ai),p(Bj),p(Ck)とそれぞれの生起確率で上記の2つの値を算出できるのでしょうか?
それともBiCkをひとつの事象系としてp(BiCk)を与えてあげないといけないのでしょうか?
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・【お題】絵本のタイトル
- ・【大喜利】世界最古のコンビニについて知ってる事を教えてください【投稿~10/10(木)】
- ・メモのコツを教えてください!
- ・CDの保有枚数を教えてください
- ・ホテルを選ぶとき、これだけは譲れない条件TOP3は?
- ・家・車以外で、人生で一番奮発した買い物
- ・人生最悪の忘れ物
- ・【コナン30周年】嘘でしょ!?と思った○○周年を教えて【ハルヒ20周年】
- ・ハマっている「お菓子」を教えて!
- ・最近、いつ泣きましたか?
- ・夏が終わったと感じる瞬間って、どんな時?
- ・10秒目をつむったら…
- ・人生のプチ美学を教えてください!!
- ・あなたの習慣について教えてください!!
- ・牛、豚、鶏、どれか一つ食べられなくなるとしたら?
- ・都道府県穴埋めゲーム
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
数Aです。 52枚のトランプから...
-
従属変数が名義尺度かつ複数事...
-
0.5時間などの時間計算の方法
-
1000分の3は何%ですか
-
1000円の3割の計算教えて下さい
-
logeの計算
-
50×78を工夫して計算
-
ガラス器具の許容範囲誤差と有...
-
変調率の求め方が
-
10の0.3乗って??
-
小数第一位までのときは、第二...
-
1000分の10の計算の仕方を教え...
-
molの問題で 0.4mol じゃなくて...
-
270万円の6対4の計算式を教え...
-
小学校の算数で工夫して計算
-
化学(原子量)の有効数字
-
kDaからbpへの変換について
-
20000円の3分の2の計算のしかた...
-
土嚢1体で何m3入りますか?
-
化学の有効数字指定なしの時の...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
数Aです。 52枚のトランプから...
-
場合の数、確率 44 サイコロ 早...
-
男子3人,女子4人から3人を選ぶ...
-
最大値・最小値の確率
-
場合の数、確率 16 一橋大学
-
数学A a~bまで最短経路で行く...
-
諸の使い方について
-
余事象「少なくとも」がない場合
-
従属変数が名義尺度かつ複数事...
-
写真についてなのですが、数列{...
-
確率を計算してほしいです。景...
-
1個のサイコロを6回投げるとき...
-
降水確率について
-
統計学? 排反と余事象の違いは...
-
条件付確率に関して、答えが合...
-
強マルコフ性について
-
高校2年の数学です。 解いてみ...
-
数学Aの確率で、排反事象の見分...
-
場合の数、確率 24 連続試行
-
シャノンの結合エントロピーに...
おすすめ情報