情報エントロピーというものがあるらしいのですが、なんでしょうか。熱力学などででてくるエントロピーは知っていますが、情報エントロピーはイメージできません。
長期的に時間変化する量(天文学や地質学などの観測データ)の数学的解析法である最大エントロピー法(MEM)を理解する上で必要な概念なのですが、分かりません。
そもそもこの概念がどの分野に属するのかすら分かりません。
誰かご存じの方よろしくお願いします。

このQ&Aに関連する最新のQ&A

A 回答 (3件)

 エントロピーは熱力学等の物理分野において,あるシステムに許容される位相の量や状態の数の対数として定められ、不規則性または無秩序さの度合いを示すものでした。

これより,情報理論では未知であることの度合い表すものとして導入されました。
 ある事象がとり得る状態がn個あり,各々の事象の生じ得る確率をpk(k=1,2,・・・,n)とすると,この中の事象kが生じたときの情報量Ikは

Ik=log(1/pk)  (対数の底は2)

となります。事象kが起こりやすいほど(pkが1に近いほど)情報量は0に近くなり,逆に起こりにくいほど大きくなります。情報エントロピーは「一回の試行により得られであろう情報量の期待値」として

H=Σpk・Ik=Σpk・log(1/pk)=-Σpk・log(pk)

で定義されます。すべての事象が起こる確率が同様に確からしく,1/nならば
H=lognとなり,確率に偏りがある場合のエントロピーよりも大きくなります。

MEM法はこの情報エントロピーの概念に基づき解析法で,実質的には赤池による「自己回帰式によるスペクトル推定法」と同一です。自己回帰式によるスペクトル推定法は理解が容易で計算もし易いのでこちらから勉強するのがいいと思います。次の文献を紹介します。

日野幹生:「スペクトル解析」,朝倉書店,1977, ISBN 4-254-12511-9

 MEM法は短い時系列データからも分解能の高いスペクトル推定が可能といわれており,私の経験からもそうですが,データの質によって落とし穴があることが次の文献に出でいます。この本はいくつかのMEMのアルゴリズムに関してそれぞれBASICのプログラムが添付されていて,アルゴリズムを理解するのに最適です。

青木由直:「BASIC数値計算法(改訂版)」,コロナ社,1984
ISBN 4-339-02321-3

以上参考になれば幸いです。
    • good
    • 0
この回答へのお礼

すいません、みなさん。
たいへんお礼が遅くなりました。
あれから、図書館に通ったりして調べていたのですが、情報エントロピーは分かりました。一方、最大エントロピー法も単独で理解しました。
ところが、その間が、頭の中でうまくつながりませんでした。能力の高い人は簡単に理解してしまうのだろうなぁと、自分の理解力の無さを憂いました。

ありがとうございました。

お礼日時:2001/02/06 01:15

最大エントロピー法を考える上では、情報エントロピーの詳細はあんまり重要ではありません。

最大エントロピー法の考え方は「データをなるべくノイズだと解釈して、残ったのを信号とみなす」という点がポイントです。このためには、ノイズはエントロピーが大きいから、エントロピーを最大化するように信号を再現すれば良い訳です。観測対象のモデルに応じてエントロピーの定義を変えてしまうこともしばしばあります。
    • good
    • 0

情報論的エントロピーは、次の式で定義されます;


S = - Σ_i k fi log(fi)
fi は i 番目標本の起こる確率。k は適当な正の定数。
i=1-10 程度で具体的な問題を考えて頂ければ、乱雑(一様)状態が最もエントロピーが高いことが感じられます。


この式からボルツマンのエントロピー "S = k log W" に帰着するのは簡単ですが、別のものだと考えた方が良いでしょう。

"S = - Σ_i k fi log(fi)" の k をボルツマン定数に置けば、形式的に "S = k log(W)" に一致することが示せますが、本当に同じモノかどうかは標本の抽出方法や考える空間によりますので、注意が必要です。

情報論的エントロピーは、「シャノンのエントロピーの式」として知られますが、他にもあるかもしれません。
これで解決しましたか?
    • good
    • 0

このQ&Aに関連する人気のQ&A

お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!

このQ&Aを見た人が検索しているワード

このQ&Aと関連する良く見られている質問

QMEMSとLSIの関係について

MEMSについて興味のあるLSI設計者です。
MEMSとは、機械・電子・光・化学などの機能とLSIなどの電気信号(処理)を複合したもの、と捉えています。もし、このような理解で正しければ、LSI等のDigital部分にはマイコンなどが搭載されるということでよろしいでしょうか?
それとも、MEMSとは機械・電子・光・化学などの機能をLSIの微細化製造技術を用いて小型化したもの(Digitalな部分はない)なのでしょうか?

とりとめもない質問で申し訳ございませんが、
何卒よろしくお願いいたします。

Aベストアンサー

MEMSとはMicro Electro Mechanical Systemsの略で,半導体製造技術を用いて作った微小な「機械」です。
http://www.cqpub.co.jp/DWM/Contents/0078/dwm007800880.pdf
http://www.signal.co.jp/vbc/mems/info/index.html
従って,一般にはマイコンなどは搭載されていません。

最近では組合わせる技術も開発されつつあるようです。
http://techon.nikkeibp.co.jp/article/NEWS/20080116/145440/

Qエントロピーが増大するなら、、、

エントロピーが増大するなら宇宙で星が誕生することはないと思うのですが、、、。
どうなのでしょうか?
よろしくお願いします。

Aベストアンサー

エントロピー増大の法則は、必ずしも全ての物理現象において無条件に適用できるものではありません。エントロピー増大の法則を無条件に適用できるのは、(1)粒子間の相互作用が存在しない、(2)孤立系、の2つの条件が満たされたときのみで、この2つの条件が満たされない場合は、必ずしもエントロピー増大の法則に従わない物理現象が許されます。

例えば、無重力状態におかれた孤立した箱の中に磁石と砂鉄が入っています。砂鉄の粉末は非常に小さいとしましょう。エントロピー増大の法則によれば、箱の中の無秩序さ(エントロピー)は増大しますから、砂鉄の粉末は箱の中に均一に飛び散り、平衡状態を迎えるはずです(実際、磁石がなければそうなるでしょう)。しかし、実際にやってみると磁石が全ての粉末を引き寄せ、箱の中は磁石とその周りにくっついた砂鉄、という状態で平衡を迎えます。

ではなぜエントロピー増大の法則が予測する結果と違う平衡状態となるかといえば、当然、磁石が砂鉄を引き寄せるからです。正確に言えば、磁石の周囲に磁界が存在し、磁界の中におかれた砂鉄に磁気的ポテンシャルエネルギーが存在するからです。そのエネルギーが最低になるのは砂鉄が磁石に張り付いた状態ですから、砂鉄はその総エネルギーが最低になる状態に落ち、その状態で安定します。
つまり、エントロピー増大の法則は、系の持つポテンシャルエネルギーの極小値で平衡状態を取り安定するという常識に負けているわけです。

もちろん、長い時間放置すれば、磁石と砂鉄の全ての温度が均一になるという意味で、熱力学の第二法則は満たされるという考え方も出来るでしょう。しかし、磁石と砂鉄ではなく、水素原子と水素原子であればどうなるでしょうか。原子と原子の間には、今度は重力という相互作用が存在します。さらに、重力による凝集が進めば温度は局所的に増大し、いずれは核融合の臨界条件が満たされて爆発的なエネルギーを生み、熱的平衡は満たされません。これが星の誕生ですが、ポテンシャルエネルギーの極小値(重力による水素原子の凝集)の常識、および核融合という粒子の相互作用の2つが、熱力学の第二法則(≒エントロピー増大の法則)に優先したと言えるかもしれません。

エントロピー増大の法則は、物理現象に一定の法則性を与えますが、必ずしもそれだけが物理現象を決める訳ではありません。よって、エントロピー増大の法則に反する形で宇宙が一定の秩序(星の形成、地球の誕生など)を取り得たとしても、それは自然なことでしょう。

エントロピー増大の法則は、必ずしも全ての物理現象において無条件に適用できるものではありません。エントロピー増大の法則を無条件に適用できるのは、(1)粒子間の相互作用が存在しない、(2)孤立系、の2つの条件が満たされたときのみで、この2つの条件が満たされない場合は、必ずしもエントロピー増大の法則に従わない物理現象が許されます。

例えば、無重力状態におかれた孤立した箱の中に磁石と砂鉄が入っています。砂鉄の粉末は非常に小さいとしましょう。エントロピー増大の法則によれば、箱の中の無秩序...続きを読む

QMEMSかユビキタスか

今大学3年のものです。研究室配属が目の前に迫っているのですが、どの研究室にしようか迷っています。一つはMEMSの製造等に関する研究室で、今後のMEMSの伸びを考えると将来的に良さそうだと思っています。もう一つはウェアラブルコンピュータとかバーチャルリアリティーなど、ヒューマンインタフェースの研究をしています。私はややヒューマンインタフェースの方に興味があるのですが大学で学ぶのは人生のほんの少しだけですし、将来のことを考えると迷ってしまいます。

これからのこれらの分野の市場予測とか何かアドバイスいただけるとうれしいです。

Aベストアンサー

ANo.1です。

少し古いですが、2005年1月の資料でこんなものがありました
(情報通信統計データベースのコンテンツです)。
http://www.johotsusintokei.soumu.go.jp/whitepaper/ja/h16/html/G1303200.html

「ユビキタスネットワーク関連市場規模は平成22年(2010年)で87.6兆円」
と書かれています。8000億米ドルくらいでしょうか。

注意すべきなのは、MEMS市場はここに包含されているであろうことです。MEMS
技術はユビキタスに欠かせなくなりつつありますので、恐らく含まれているか
と思います。
ですので、市場規模で比較するのは間違いではないかというのが個人的な意見
です。


さらに古いですが、総務省の「ユビキタスネットワーク技術の将来展望に関す
る調査研究会」で検討された資料はこちらにあります。
http://www.soumu.go.jp/joho_tsusin/policyreports/chousa/yubikitasu/


私は市場規模のような分野には詳しくありませんので、どなたか詳しい方のコ
メントを求めます。

ANo.1です。

少し古いですが、2005年1月の資料でこんなものがありました
(情報通信統計データベースのコンテンツです)。
http://www.johotsusintokei.soumu.go.jp/whitepaper/ja/h16/html/G1303200.html

「ユビキタスネットワーク関連市場規模は平成22年(2010年)で87.6兆円」
と書かれています。8000億米ドルくらいでしょうか。

注意すべきなのは、MEMS市場はここに包含されているであろうことです。MEMS
技術はユビキタスに欠かせなくなりつつありますので、恐らく含まれているか
と思います...続きを読む

Qエントロピーが大きいと、宇宙温度は高くなる?

 エントロピーが大きいと、
(ギブスやヘルムホルツの)自由エネルギーは小さくなり、安定するというのは理解しています。
他方、宇宙論で、エントロピーが大きいと、宇宙温度は高くなるという言い方がされていますが、
これはどういう意味でしょうか?

Aベストアンサー

エントロピーの増大≒熱力学の第二法則とすると、現在の宇宙のようなかたや絶対零度近くの宇宙空間、かたや数百万度の恒星と、熱が偏在しているエントロピーが少ない宇宙から、熱が平衡状態になったエントロピーが高い宇宙の方が宇宙温度は高くなるのではないでしょうか。
ただ、その後の自由エネルギーすらも少なくなった宇宙は、温度も下がっていくのかもしれません。

Q生命現象を貫く物理法則とは?エントロピー云々以外で説明できますか?

生命現象を貫く物理法則とは?エントロピー云々以外で説明できますか?

Aベストアンサー

 どんな生命現象でもエネルギー保存やらニュートンやらすべての法則から逸脱しているものは一つもありませんよ。実際、生物がDNAの複製やら転写やらなにやらを維持するために常にその代償として取り込んだものを代謝しているではないですか?

エントロピー?の後半の部分はご質問が私にはよくわかりませんのでもう少し具体的にしていただくか他の詳しい方の回答を参考にしてください。


人気Q&Aランキング

おすすめ情報