情報エントロピーというものがあるらしいのですが、なんでしょうか。熱力学などででてくるエントロピーは知っていますが、情報エントロピーはイメージできません。
長期的に時間変化する量(天文学や地質学などの観測データ)の数学的解析法である最大エントロピー法(MEM)を理解する上で必要な概念なのですが、分かりません。
そもそもこの概念がどの分野に属するのかすら分かりません。
誰かご存じの方よろしくお願いします。

このQ&Aに関連する最新のQ&A

A 回答 (3件)

 エントロピーは熱力学等の物理分野において,あるシステムに許容される位相の量や状態の数の対数として定められ、不規則性または無秩序さの度合いを示すものでした。

これより,情報理論では未知であることの度合い表すものとして導入されました。
 ある事象がとり得る状態がn個あり,各々の事象の生じ得る確率をpk(k=1,2,・・・,n)とすると,この中の事象kが生じたときの情報量Ikは

Ik=log(1/pk)  (対数の底は2)

となります。事象kが起こりやすいほど(pkが1に近いほど)情報量は0に近くなり,逆に起こりにくいほど大きくなります。情報エントロピーは「一回の試行により得られであろう情報量の期待値」として

H=Σpk・Ik=Σpk・log(1/pk)=-Σpk・log(pk)

で定義されます。すべての事象が起こる確率が同様に確からしく,1/nならば
H=lognとなり,確率に偏りがある場合のエントロピーよりも大きくなります。

MEM法はこの情報エントロピーの概念に基づき解析法で,実質的には赤池による「自己回帰式によるスペクトル推定法」と同一です。自己回帰式によるスペクトル推定法は理解が容易で計算もし易いのでこちらから勉強するのがいいと思います。次の文献を紹介します。

日野幹生:「スペクトル解析」,朝倉書店,1977, ISBN 4-254-12511-9

 MEM法は短い時系列データからも分解能の高いスペクトル推定が可能といわれており,私の経験からもそうですが,データの質によって落とし穴があることが次の文献に出でいます。この本はいくつかのMEMのアルゴリズムに関してそれぞれBASICのプログラムが添付されていて,アルゴリズムを理解するのに最適です。

青木由直:「BASIC数値計算法(改訂版)」,コロナ社,1984
ISBN 4-339-02321-3

以上参考になれば幸いです。
    • good
    • 0
この回答へのお礼

すいません、みなさん。
たいへんお礼が遅くなりました。
あれから、図書館に通ったりして調べていたのですが、情報エントロピーは分かりました。一方、最大エントロピー法も単独で理解しました。
ところが、その間が、頭の中でうまくつながりませんでした。能力の高い人は簡単に理解してしまうのだろうなぁと、自分の理解力の無さを憂いました。

ありがとうございました。

お礼日時:2001/02/06 01:15

最大エントロピー法を考える上では、情報エントロピーの詳細はあんまり重要ではありません。

最大エントロピー法の考え方は「データをなるべくノイズだと解釈して、残ったのを信号とみなす」という点がポイントです。このためには、ノイズはエントロピーが大きいから、エントロピーを最大化するように信号を再現すれば良い訳です。観測対象のモデルに応じてエントロピーの定義を変えてしまうこともしばしばあります。
    • good
    • 0

情報論的エントロピーは、次の式で定義されます;


S = - Σ_i k fi log(fi)
fi は i 番目標本の起こる確率。k は適当な正の定数。
i=1-10 程度で具体的な問題を考えて頂ければ、乱雑(一様)状態が最もエントロピーが高いことが感じられます。


この式からボルツマンのエントロピー "S = k log W" に帰着するのは簡単ですが、別のものだと考えた方が良いでしょう。

"S = - Σ_i k fi log(fi)" の k をボルツマン定数に置けば、形式的に "S = k log(W)" に一致することが示せますが、本当に同じモノかどうかは標本の抽出方法や考える空間によりますので、注意が必要です。

情報論的エントロピーは、「シャノンのエントロピーの式」として知られますが、他にもあるかもしれません。
これで解決しましたか?
    • good
    • 0

このQ&Aに関連する人気のQ&A

お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!

このQ&Aを見た人が検索しているワード

このQ&Aと関連する良く見られている質問

Q憧れの女性がいきなり散らかった部屋に尋ねて来たら

23才・♂です。
ずっと前から憧れている好きな女性がいます
彼女は4才上です(見た目はそんなに上には見えません)
何度かアピールしていましたが中々、良い返事が貰えませんでした。

先週日曜日、いきなり僕の散らかったきったない部屋に尋ねて来てくれました。
しかも、ヤバイ系も物も置いていましたのでさすがに部屋には入ってもらえず
家の前のスタバにお世話になりました。

他愛のない話を1時間ぐらいして彼女は帰ってしまいました。

何だったのでしょうか?・・・・そんな事、皆様にお聞きしても分からないとは思いますが恋愛経験豊富な大人の皆様に大筋検討して頂き回答ください。

Aベストアンサー

30代♂です。

女の影がないか見に来たんじゃない?

案外気があったのかも。

QMEMSとLSIの関係について

MEMSについて興味のあるLSI設計者です。
MEMSとは、機械・電子・光・化学などの機能とLSIなどの電気信号(処理)を複合したもの、と捉えています。もし、このような理解で正しければ、LSI等のDigital部分にはマイコンなどが搭載されるということでよろしいでしょうか?
それとも、MEMSとは機械・電子・光・化学などの機能をLSIの微細化製造技術を用いて小型化したもの(Digitalな部分はない)なのでしょうか?

とりとめもない質問で申し訳ございませんが、
何卒よろしくお願いいたします。

Aベストアンサー

MEMSとはMicro Electro Mechanical Systemsの略で,半導体製造技術を用いて作った微小な「機械」です。
http://www.cqpub.co.jp/DWM/Contents/0078/dwm007800880.pdf
http://www.signal.co.jp/vbc/mems/info/index.html
従って,一般にはマイコンなどは搭載されていません。

最近では組合わせる技術も開発されつつあるようです。
http://techon.nikkeibp.co.jp/article/NEWS/20080116/145440/

Q低周波騒音は、散らかった部屋でも発生しますか?

整理整頓ができていないと生産性が下がるのは、
散らかったものが発生する低周波音のせいとも考えられます。

どうでしょうか。

Aベストアンサー

音は振動です。動かなければ振動は発生しませんから、散らかったものが常時(1秒たりとも静止せずに)振動し続けているのなら、音が発生する可能性があります。
雑然と散らかって「置いてある」だけで、動いていないのであるなら、振動は発生しませんし、低周波騒音も発生しません。

整理整頓ができていない状態というのは、雑然と置いてあるだけで、置いてあるものが常時動き続けている状態ではないので、散らかったものが低周波音を発生して生産性が落ちる、というのは間違いです。

整理整頓ができないことで生産性が落ちる理由は、

1.次に使う道具や素材がどこにおいてあるのかわからず、探す時間がかかる。探す時間は生産していないので、作業時間のうち実際に生産に使われる時間が減少するため、時間生産性(=生産物/投入時間)が低下する。
2.次に使う道具や素材が持ちやすい状態に置いていないため、持ち変える時間がかかる。持ち変える時間は生産していないので、作業時間のうち実際に生産に使われる時間が減少するため、時間生産性(=生産物/投入時間)が低下する。
3.出荷すべき製品がどこに置いてあるのかわからないため、探す時間がかかる。この時間はリードタイムに含まれてしまうため、受注から出荷までの時間が増加してしまい、時間生産性が低下する。

などです。置いてあって静止している物体から低周波音は発生しません。

音は振動です。動かなければ振動は発生しませんから、散らかったものが常時(1秒たりとも静止せずに)振動し続けているのなら、音が発生する可能性があります。
雑然と散らかって「置いてある」だけで、動いていないのであるなら、振動は発生しませんし、低周波騒音も発生しません。

整理整頓ができていない状態というのは、雑然と置いてあるだけで、置いてあるものが常時動き続けている状態ではないので、散らかったものが低周波音を発生して生産性が落ちる、というのは間違いです。

整理整頓ができないことで...続きを読む

Qエントロピーが増大するなら、、、

エントロピーが増大するなら宇宙で星が誕生することはないと思うのですが、、、。
どうなのでしょうか?
よろしくお願いします。

Aベストアンサー

エントロピー増大の法則は、必ずしも全ての物理現象において無条件に適用できるものではありません。エントロピー増大の法則を無条件に適用できるのは、(1)粒子間の相互作用が存在しない、(2)孤立系、の2つの条件が満たされたときのみで、この2つの条件が満たされない場合は、必ずしもエントロピー増大の法則に従わない物理現象が許されます。

例えば、無重力状態におかれた孤立した箱の中に磁石と砂鉄が入っています。砂鉄の粉末は非常に小さいとしましょう。エントロピー増大の法則によれば、箱の中の無秩序さ(エントロピー)は増大しますから、砂鉄の粉末は箱の中に均一に飛び散り、平衡状態を迎えるはずです(実際、磁石がなければそうなるでしょう)。しかし、実際にやってみると磁石が全ての粉末を引き寄せ、箱の中は磁石とその周りにくっついた砂鉄、という状態で平衡を迎えます。

ではなぜエントロピー増大の法則が予測する結果と違う平衡状態となるかといえば、当然、磁石が砂鉄を引き寄せるからです。正確に言えば、磁石の周囲に磁界が存在し、磁界の中におかれた砂鉄に磁気的ポテンシャルエネルギーが存在するからです。そのエネルギーが最低になるのは砂鉄が磁石に張り付いた状態ですから、砂鉄はその総エネルギーが最低になる状態に落ち、その状態で安定します。
つまり、エントロピー増大の法則は、系の持つポテンシャルエネルギーの極小値で平衡状態を取り安定するという常識に負けているわけです。

もちろん、長い時間放置すれば、磁石と砂鉄の全ての温度が均一になるという意味で、熱力学の第二法則は満たされるという考え方も出来るでしょう。しかし、磁石と砂鉄ではなく、水素原子と水素原子であればどうなるでしょうか。原子と原子の間には、今度は重力という相互作用が存在します。さらに、重力による凝集が進めば温度は局所的に増大し、いずれは核融合の臨界条件が満たされて爆発的なエネルギーを生み、熱的平衡は満たされません。これが星の誕生ですが、ポテンシャルエネルギーの極小値(重力による水素原子の凝集)の常識、および核融合という粒子の相互作用の2つが、熱力学の第二法則(≒エントロピー増大の法則)に優先したと言えるかもしれません。

エントロピー増大の法則は、物理現象に一定の法則性を与えますが、必ずしもそれだけが物理現象を決める訳ではありません。よって、エントロピー増大の法則に反する形で宇宙が一定の秩序(星の形成、地球の誕生など)を取り得たとしても、それは自然なことでしょう。

エントロピー増大の法則は、必ずしも全ての物理現象において無条件に適用できるものではありません。エントロピー増大の法則を無条件に適用できるのは、(1)粒子間の相互作用が存在しない、(2)孤立系、の2つの条件が満たされたときのみで、この2つの条件が満たされない場合は、必ずしもエントロピー増大の法則に従わない物理現象が許されます。

例えば、無重力状態におかれた孤立した箱の中に磁石と砂鉄が入っています。砂鉄の粉末は非常に小さいとしましょう。エントロピー増大の法則によれば、箱の中の無秩序...続きを読む

Qリサイクルとエントロピー増大の法則

リサイクルとエントロピー最大の法則とは、どのような関係があるか教えていただけませんか?

Aベストアンサー

エントロピーを物質・エネルギーの拡散を表す定量的な指標とすると、自然界では拡散の度合が増す方向に物事が進むということを表したものが「エントロピー増大の法則」です。ただし、それは閉鎖系の話で、外部から物やエネルギーが加わるような場合は別ですが、局所的な人間活動であれば人間社会と周辺の自然環境を閉鎖系として考えていいでしょう。

散らかった部屋をよくエントロピーが高い状態と例えることがあります。あるいは、何もしないと拡散が進んで物は使いものにならない状態になるので、手間暇をかけて使える物にした状態をエントロピーの低い状態と考えてもいいでしょう。

人間にとって有用なものの多くは、資源とエネルギーを投入してエントロピーを下げた状態ですが、閉鎖系ではエントロピーは増加しますから、その過程で使うエネルギーや廃棄物により周辺の自然環境のエントロピーは自分が下げた分以上高くなります。人間の生産活動が環境負荷を与えていることをエントロピーという言葉を使って表現するとこうなりますかね。

リサイクルでは、何もしなければ廃棄物として使えなくなる物を循環して利用することで、物を再びゼロから作り出す際に出る高いエントロピーを自然環境に放出することはなくなります。理想的には、新たに必要なものは、循環する際の物とエネルギーですので、新たに出てくるエントロピーは低く出来ます。ただし、再び使える物にする際に、きれいにしたりとか余分なものを除いたりとか、新たに物やエネルギーを加えて環境負荷を与えるケースが多々あるので、リサイクルは必ずしも万能ではありません。

エントロピーを物質・エネルギーの拡散を表す定量的な指標とすると、自然界では拡散の度合が増す方向に物事が進むということを表したものが「エントロピー増大の法則」です。ただし、それは閉鎖系の話で、外部から物やエネルギーが加わるような場合は別ですが、局所的な人間活動であれば人間社会と周辺の自然環境を閉鎖系として考えていいでしょう。

散らかった部屋をよくエントロピーが高い状態と例えることがあります。あるいは、何もしないと拡散が進んで物は使いものにならない状態になるので、手間暇をか...続きを読む

QMEMSかユビキタスか

今大学3年のものです。研究室配属が目の前に迫っているのですが、どの研究室にしようか迷っています。一つはMEMSの製造等に関する研究室で、今後のMEMSの伸びを考えると将来的に良さそうだと思っています。もう一つはウェアラブルコンピュータとかバーチャルリアリティーなど、ヒューマンインタフェースの研究をしています。私はややヒューマンインタフェースの方に興味があるのですが大学で学ぶのは人生のほんの少しだけですし、将来のことを考えると迷ってしまいます。

これからのこれらの分野の市場予測とか何かアドバイスいただけるとうれしいです。

Aベストアンサー

ANo.1です。

少し古いですが、2005年1月の資料でこんなものがありました
(情報通信統計データベースのコンテンツです)。
http://www.johotsusintokei.soumu.go.jp/whitepaper/ja/h16/html/G1303200.html

「ユビキタスネットワーク関連市場規模は平成22年(2010年)で87.6兆円」
と書かれています。8000億米ドルくらいでしょうか。

注意すべきなのは、MEMS市場はここに包含されているであろうことです。MEMS
技術はユビキタスに欠かせなくなりつつありますので、恐らく含まれているか
と思います。
ですので、市場規模で比較するのは間違いではないかというのが個人的な意見
です。


さらに古いですが、総務省の「ユビキタスネットワーク技術の将来展望に関す
る調査研究会」で検討された資料はこちらにあります。
http://www.soumu.go.jp/joho_tsusin/policyreports/chousa/yubikitasu/


私は市場規模のような分野には詳しくありませんので、どなたか詳しい方のコ
メントを求めます。

ANo.1です。

少し古いですが、2005年1月の資料でこんなものがありました
(情報通信統計データベースのコンテンツです)。
http://www.johotsusintokei.soumu.go.jp/whitepaper/ja/h16/html/G1303200.html

「ユビキタスネットワーク関連市場規模は平成22年(2010年)で87.6兆円」
と書かれています。8000億米ドルくらいでしょうか。

注意すべきなのは、MEMS市場はここに包含されているであろうことです。MEMS
技術はユビキタスに欠かせなくなりつつありますので、恐らく含まれているか
と思います...続きを読む

Qエントロピー 無秩序 について

エントロピーは、無秩序な状態の度合いを表すもので、無秩序な状態ほどエントロピーが高く、整然として秩序の保たれている状態ほどエントロピーは低い。


(2)万物は、自然のままにほっておくと、常にそのエントロピーが増大する方向へ変化する(エントロピー増大の法則)。

また温度をあげてエントロピーが高くなれば安定するとも学びました。ここがひっかかるのですが例えば北極のような氷の世界ではエントロピーは低いのでしょうか?北極は人の手で氷の世界となっているわけではなく、自然のままと思うのですが・・・安定していないのですか?矛盾を感じます。

Aベストアンサー

>温度をあげてエントロピーが高くなれば安定するとも学びました
エントロピーだけを見ると大きい方がエネルギーが低くて安定であると言えます。
しかし、自由エネルギーというのはエントロピーだけでなくエンタルピー(熱力学的エネルギー)
もあります。
エンタルピー(熱力学的エネルギー)をH、エントロピーをS、絶対温度をTとすると、
自由エネルギー(ギブズエネルギー)Gは次の式で表されます。
G=H+TS

すなわち、低温の状況ではエントロピーエネルギーはほぼ無視できます。
逆に、エントロピーエネルギーは絶対温度に比例するので、温度が高い状況では
エンタルピーはほぼ無視され、ほとんど全ての物質が一様な気体となります。

水は液体から凝固すると熱を発生します。
H2O(液)=H2O(固)+6kJ
H2O(気)=H2O(液)+44kJ
でるから、熱力学的に考えると、水は固体の状態が最もエネルギーが低く安定です。
しかし、温度を上げていくとエントロピーエネルギーの割合が増えるので、液体や
気体のように乱雑さが大きい相が安定となります。

以上のように、北極海の氷はエントロピーエネルギー0滴には不利な状況ですが、
エンタルピーエネルギーとの総和で安定な状態になっています。

府中はビッグバン以後、物質が膨張して全体的に見ればエントロピーが増大しています。
しかし、局地的に見ればエントリピーの小さい部分も存在します。
それが地球であり、生き物であり、人間であると思います。
人間の作業というのはエントロピーに抗うことだと思います。

>温度をあげてエントロピーが高くなれば安定するとも学びました
エントロピーだけを見ると大きい方がエネルギーが低くて安定であると言えます。
しかし、自由エネルギーというのはエントロピーだけでなくエンタルピー(熱力学的エネルギー)
もあります。
エンタルピー(熱力学的エネルギー)をH、エントロピーをS、絶対温度をTとすると、
自由エネルギー(ギブズエネルギー)Gは次の式で表されます。
G=H+TS

すなわち、低温の状況ではエントロピーエネルギーはほぼ無視できます。
逆に、エントロピー...続きを読む

Qエントロピーが大きいと、宇宙温度は高くなる?

 エントロピーが大きいと、
(ギブスやヘルムホルツの)自由エネルギーは小さくなり、安定するというのは理解しています。
他方、宇宙論で、エントロピーが大きいと、宇宙温度は高くなるという言い方がされていますが、
これはどういう意味でしょうか?

Aベストアンサー

エントロピーの増大≒熱力学の第二法則とすると、現在の宇宙のようなかたや絶対零度近くの宇宙空間、かたや数百万度の恒星と、熱が偏在しているエントロピーが少ない宇宙から、熱が平衡状態になったエントロピーが高い宇宙の方が宇宙温度は高くなるのではないでしょうか。
ただ、その後の自由エネルギーすらも少なくなった宇宙は、温度も下がっていくのかもしれません。

Q情報エントロピーと最大エントロピー法

情報エントロピーというものがあるらしいのですが、なんでしょうか。熱力学などででてくるエントロピーは知っていますが、情報エントロピーはイメージできません。
長期的に時間変化する量(天文学や地質学などの観測データ)の数学的解析法である最大エントロピー法(MEM)を理解する上で必要な概念なのですが、分かりません。
そもそもこの概念がどの分野に属するのかすら分かりません。
誰かご存じの方よろしくお願いします。

Aベストアンサー

 エントロピーは熱力学等の物理分野において,あるシステムに許容される位相の量や状態の数の対数として定められ、不規則性または無秩序さの度合いを示すものでした。これより,情報理論では未知であることの度合い表すものとして導入されました。
 ある事象がとり得る状態がn個あり,各々の事象の生じ得る確率をpk(k=1,2,・・・,n)とすると,この中の事象kが生じたときの情報量Ikは

Ik=log(1/pk)  (対数の底は2)

となります。事象kが起こりやすいほど(pkが1に近いほど)情報量は0に近くなり,逆に起こりにくいほど大きくなります。情報エントロピーは「一回の試行により得られであろう情報量の期待値」として

H=Σpk・Ik=Σpk・log(1/pk)=-Σpk・log(pk)

で定義されます。すべての事象が起こる確率が同様に確からしく,1/nならば
H=lognとなり,確率に偏りがある場合のエントロピーよりも大きくなります。

MEM法はこの情報エントロピーの概念に基づき解析法で,実質的には赤池による「自己回帰式によるスペクトル推定法」と同一です。自己回帰式によるスペクトル推定法は理解が容易で計算もし易いのでこちらから勉強するのがいいと思います。次の文献を紹介します。

日野幹生:「スペクトル解析」,朝倉書店,1977, ISBN 4-254-12511-9

 MEM法は短い時系列データからも分解能の高いスペクトル推定が可能といわれており,私の経験からもそうですが,データの質によって落とし穴があることが次の文献に出でいます。この本はいくつかのMEMのアルゴリズムに関してそれぞれBASICのプログラムが添付されていて,アルゴリズムを理解するのに最適です。

青木由直:「BASIC数値計算法(改訂版)」,コロナ社,1984
ISBN 4-339-02321-3

以上参考になれば幸いです。

 エントロピーは熱力学等の物理分野において,あるシステムに許容される位相の量や状態の数の対数として定められ、不規則性または無秩序さの度合いを示すものでした。これより,情報理論では未知であることの度合い表すものとして導入されました。
 ある事象がとり得る状態がn個あり,各々の事象の生じ得る確率をpk(k=1,2,・・・,n)とすると,この中の事象kが生じたときの情報量Ikは

Ik=log(1/pk)  (対数の底は2)

となります。事象kが起こりやすいほど(pkが1に近いほど)情報量は...続きを読む

Q生命現象を貫く物理法則とは?エントロピー云々以外で説明できますか?

生命現象を貫く物理法則とは?エントロピー云々以外で説明できますか?

Aベストアンサー

 どんな生命現象でもエネルギー保存やらニュートンやらすべての法則から逸脱しているものは一つもありませんよ。実際、生物がDNAの複製やら転写やらなにやらを維持するために常にその代償として取り込んだものを代謝しているではないですか?

エントロピー?の後半の部分はご質問が私にはよくわかりませんのでもう少し具体的にしていただくか他の詳しい方の回答を参考にしてください。


人気Q&Aランキング