![](http://oshiete.xgoo.jp/images/v2/pc/qa/question_title.png?e8efa67)
No.3ベストアンサー
- 回答日時:
エントロピーは熱力学等の物理分野において,あるシステムに許容される位相の量や状態の数の対数として定められ、不規則性または無秩序さの度合いを示すものでした。
これより,情報理論では未知であることの度合い表すものとして導入されました。ある事象がとり得る状態がn個あり,各々の事象の生じ得る確率をpk(k=1,2,・・・,n)とすると,この中の事象kが生じたときの情報量Ikは
Ik=log(1/pk) (対数の底は2)
となります。事象kが起こりやすいほど(pkが1に近いほど)情報量は0に近くなり,逆に起こりにくいほど大きくなります。情報エントロピーは「一回の試行により得られであろう情報量の期待値」として
H=Σpk・Ik=Σpk・log(1/pk)=-Σpk・log(pk)
で定義されます。すべての事象が起こる確率が同様に確からしく,1/nならば
H=lognとなり,確率に偏りがある場合のエントロピーよりも大きくなります。
MEM法はこの情報エントロピーの概念に基づき解析法で,実質的には赤池による「自己回帰式によるスペクトル推定法」と同一です。自己回帰式によるスペクトル推定法は理解が容易で計算もし易いのでこちらから勉強するのがいいと思います。次の文献を紹介します。
日野幹生:「スペクトル解析」,朝倉書店,1977, ISBN 4-254-12511-9
MEM法は短い時系列データからも分解能の高いスペクトル推定が可能といわれており,私の経験からもそうですが,データの質によって落とし穴があることが次の文献に出でいます。この本はいくつかのMEMのアルゴリズムに関してそれぞれBASICのプログラムが添付されていて,アルゴリズムを理解するのに最適です。
青木由直:「BASIC数値計算法(改訂版)」,コロナ社,1984
ISBN 4-339-02321-3
以上参考になれば幸いです。
すいません、みなさん。
たいへんお礼が遅くなりました。
あれから、図書館に通ったりして調べていたのですが、情報エントロピーは分かりました。一方、最大エントロピー法も単独で理解しました。
ところが、その間が、頭の中でうまくつながりませんでした。能力の高い人は簡単に理解してしまうのだろうなぁと、自分の理解力の無さを憂いました。
ありがとうございました。
No.2
- 回答日時:
最大エントロピー法を考える上では、情報エントロピーの詳細はあんまり重要ではありません。
最大エントロピー法の考え方は「データをなるべくノイズだと解釈して、残ったのを信号とみなす」という点がポイントです。このためには、ノイズはエントロピーが大きいから、エントロピーを最大化するように信号を再現すれば良い訳です。観測対象のモデルに応じてエントロピーの定義を変えてしまうこともしばしばあります。No.1
- 回答日時:
情報論的エントロピーは、次の式で定義されます;
S = - Σ_i k fi log(fi)
fi は i 番目標本の起こる確率。k は適当な正の定数。
i=1-10 程度で具体的な問題を考えて頂ければ、乱雑(一様)状態が最もエントロピーが高いことが感じられます。
この式からボルツマンのエントロピー "S = k log W" に帰着するのは簡単ですが、別のものだと考えた方が良いでしょう。
"S = - Σ_i k fi log(fi)" の k をボルツマン定数に置けば、形式的に "S = k log(W)" に一致することが示せますが、本当に同じモノかどうかは標本の抽出方法や考える空間によりますので、注意が必要です。
情報論的エントロピーは、「シャノンのエントロピーの式」として知られますが、他にもあるかもしれません。
これで解決しましたか?
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 物理学 熱力学 エントロピーについて 不可逆過程でのエントロピー変化を計算するには、エントロピーは状態量であ 3 2023/03/27 20:41
- 物理学 参考書にエントロピーの式が以下の様に示されていました。 dS=-δQ/T この式の解説は「ある一定の 0 2023/01/28 13:05
- 哲学 等情報エントロピー帯域の特定(形式学) 1 2023/07/05 20:46
- 統計学 等情報エントロピー帯域の特定(形式学) 1 2023/07/05 20:48
- 物理学 統計力学と情報理論の、エントロピーの同じことを教えてください 2 2022/09/09 20:29
- 物理学 『Maxwellの悪魔は永久機関の夢を見るか?』 10 2022/05/16 07:58
- 哲学 エントロピーが増えるとは不安定な状態を安定させようとする為に不安定な状態のときにはなかった動きが安定 17 2022/04/05 12:26
- 物理学 情報とは何か? 2 2023/05/07 12:42
- 計算機科学 エントロピー関数の導入 例えば、1, 0を0.1, 0.9の確率で発生する無記憶情報源のエントロピー 2 2022/09/09 20:06
- 物理学 熱力学の勉強をしていてふと思ったので質問させていただきます。エントロピーが増大するなら不可逆変化だと 3 2023/01/10 15:23
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
標準反応エントロピー
-
4×4マス計算で縦、横、斜めの四...
-
BF3 オクテット則
-
エントロピー
-
dU=TdS-pdVはどうやって出て...
-
熱力学でわからないことがあり...
-
原理と原則って何が違いますか?
-
なぜ、エネルギーの変換効率が...
-
時間が止まったらエントロピー...
-
エントロピーの減少
-
哲学でいう反エントロピーとは...
-
「平和主義」と「事なかれ主義...
-
日本語の濁音化の法則が謎です
-
フェヒナーの法則について簡単...
-
凝固の際、エントロピーは増加...
-
断熱流と等エントロピー流の違...
-
大数の弱法則と強法則の違いに...
-
情報エントロピーと最大エント...
-
指数の計算で 底は同じで異符号...
-
重量感覚について
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
標準反応エントロピー
-
dU=TdS-pdVはどうやって出て...
-
相対論的熱力学
-
どうすれば4乗根3の2乗(?)がル...
-
DNAが右巻き螺旋だけ! なぜで...
-
宇宙は、開放系ですか?それと...
-
混合による、融点の低下のメカ...
-
引き寄せの法則
-
凝固の際、エントロピーは増加...
-
可逆性があるものと
-
日本語のアクセントについて教...
-
標準状態において、1molの水が-...
-
氷から水になるときのエントロ...
-
フェヒナーの法則について簡単...
-
なぜ、エネルギーの変換効率が...
-
エントロピー変化の計算
-
エンテレヒーについて
-
数学の法則を発見しました
-
吸熱反応が起こる理由は?
-
「論理」と「理論」の意味を小...
おすすめ情報