
No.3ベストアンサー
- 回答日時:
エントロピーは熱力学等の物理分野において,あるシステムに許容される位相の量や状態の数の対数として定められ、不規則性または無秩序さの度合いを示すものでした。
これより,情報理論では未知であることの度合い表すものとして導入されました。ある事象がとり得る状態がn個あり,各々の事象の生じ得る確率をpk(k=1,2,・・・,n)とすると,この中の事象kが生じたときの情報量Ikは
Ik=log(1/pk) (対数の底は2)
となります。事象kが起こりやすいほど(pkが1に近いほど)情報量は0に近くなり,逆に起こりにくいほど大きくなります。情報エントロピーは「一回の試行により得られであろう情報量の期待値」として
H=Σpk・Ik=Σpk・log(1/pk)=-Σpk・log(pk)
で定義されます。すべての事象が起こる確率が同様に確からしく,1/nならば
H=lognとなり,確率に偏りがある場合のエントロピーよりも大きくなります。
MEM法はこの情報エントロピーの概念に基づき解析法で,実質的には赤池による「自己回帰式によるスペクトル推定法」と同一です。自己回帰式によるスペクトル推定法は理解が容易で計算もし易いのでこちらから勉強するのがいいと思います。次の文献を紹介します。
日野幹生:「スペクトル解析」,朝倉書店,1977, ISBN 4-254-12511-9
MEM法は短い時系列データからも分解能の高いスペクトル推定が可能といわれており,私の経験からもそうですが,データの質によって落とし穴があることが次の文献に出でいます。この本はいくつかのMEMのアルゴリズムに関してそれぞれBASICのプログラムが添付されていて,アルゴリズムを理解するのに最適です。
青木由直:「BASIC数値計算法(改訂版)」,コロナ社,1984
ISBN 4-339-02321-3
以上参考になれば幸いです。
この回答へのお礼
お礼日時:2001/02/06 01:15
すいません、みなさん。
たいへんお礼が遅くなりました。
あれから、図書館に通ったりして調べていたのですが、情報エントロピーは分かりました。一方、最大エントロピー法も単独で理解しました。
ところが、その間が、頭の中でうまくつながりませんでした。能力の高い人は簡単に理解してしまうのだろうなぁと、自分の理解力の無さを憂いました。
ありがとうございました。
No.2
- 回答日時:
最大エントロピー法を考える上では、情報エントロピーの詳細はあんまり重要ではありません。
最大エントロピー法の考え方は「データをなるべくノイズだと解釈して、残ったのを信号とみなす」という点がポイントです。このためには、ノイズはエントロピーが大きいから、エントロピーを最大化するように信号を再現すれば良い訳です。観測対象のモデルに応じてエントロピーの定義を変えてしまうこともしばしばあります。No.1
- 回答日時:
情報論的エントロピーは、次の式で定義されます;
S = - Σ_i k fi log(fi)
fi は i 番目標本の起こる確率。k は適当な正の定数。
i=1-10 程度で具体的な問題を考えて頂ければ、乱雑(一様)状態が最もエントロピーが高いことが感じられます。
この式からボルツマンのエントロピー "S = k log W" に帰着するのは簡単ですが、別のものだと考えた方が良いでしょう。
"S = - Σ_i k fi log(fi)" の k をボルツマン定数に置けば、形式的に "S = k log(W)" に一致することが示せますが、本当に同じモノかどうかは標本の抽出方法や考える空間によりますので、注意が必要です。
情報論的エントロピーは、「シャノンのエントロピーの式」として知られますが、他にもあるかもしれません。
これで解決しましたか?
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
日本語のアクセントについて教...
-
例外なくとは例外がないという...
-
STAP細胞問題を哲学的に考えると
-
エントロピーの増大説より減少...
-
普遍化と個性化
-
混合による、融点の低下のメカ...
-
この世界とは偶然できた産物な...
-
標準反応エントロピー
-
宇宙のエントロピー変化
-
自分に都合のいい事だけ記憶し...
-
宇宙の法則って何のことですか?
-
dU=TdS-pdVはどうやって出て...
-
生命とはカオス現象の一つである。
-
どうしてNaClは水に溶けるのか?
-
指数の計算で 底は同じで異符号...
-
日本語の濁音化の法則が謎です
-
あまり痛くない死に方をおしえ...
-
どこかでひっそり死ぬ方法はあ...
-
早く死んで楽になりたいです。 ...
-
物事の理由
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
dU=TdS-pdVはどうやって出て...
-
断熱圧縮は等エントロピー変化...
-
標準反応エントロピー
-
人生の第五法則はあるのでしょ...
-
輪ゴムを伸ばすと発熱するのは...
-
自分に都合のいい事だけ記憶し...
-
ライマンの法則に興味を持ち、...
-
DNAが右巻き螺旋だけ! なぜで...
-
哲学でいう反エントロピーとは...
-
エントロピーが増えるとは不安...
-
徳山と在日朝鮮人
-
KClの溶解
-
分かり難くて理解できないとの...
-
エントロピー増大の法則は絶対か?
-
日本語のアクセントについて教...
-
宇宙の法則って何のことですか?
-
絶対零度
-
宇宙のエントロピー変化の問題
-
エントロピーは増大する一方で...
-
熱力学の第一法則と熱力学の第...
おすすめ情報