シャノンの情報の定義を調べていくと、「起こりうる事象がいくつか考えられ,そのうちどれが実際に起こるかが不確定であるとき,そのエントロピーを減少させる働きを持つもの」「いま、起こりうる状況として、Z1, Z2, Z3 … Znが考えられるが、このうちどれが実際に起こるかが、完全に明らかではないものとする。そのとき、この体系は「一定量の不確実性を持っている」というが、この不確実性の量を減らすもの」云々などを得ることができたのですが、はっきり言ってどんなものなのかイマイチよく分かりません。シャノンの情報定義とはそもそも何なのか、また、シャノンの情報理論による、具体的なメリット・恩恵や影響にはどんなものがあるのか、分かりやすく教えていただけたら嬉しいです。また、高校生でも分かるような参考書などがあれば教えて頂きたいです。
No.2ベストアンサー
- 回答日時:
高校生なら、対数は理解していますよね。
例から入るのが分かりやすいですね(良くある例ですが)
一枚のコインを投げて、その裏表を知ったときにえられる情報量を情報の基本単位(bit)と考えます。二つに一つの選択によって情報が得られたわけです。でもね、コインがインチキ(常に表が出る)だったら結果を知ってもえられる情報量はゼロです。
次に4分の1の確率で起こる事象を、結果として知ればそのときの情報量は何ビットなんだろうと考えるわけです。これはコイン(インチキでないコイン)を2回投げて表が2回出る確率は4分の1ですよね。この時得られる情報は1ビットx2回で2ビットになるはず。
以上を一般化してN分の1の確率で起こる事象が、起こったことを知ればその情報量はlogN(底は2)となります。
以上がシャノンの情報量の定義です。
-------------
次にメリット・用途ですが、これは説明しにくい。
通信とか暗号などの分野での理論的基礎になります。
たとえばFAXを考えると、原稿を走査して白黒(数字で言うと2進法の1と0)の点(画素)の集まりと考えます。安易に考えると点の数だけ「1または0」を送ればFAXを送ることになるんですが、統計的には黒点、白点は連続する確率が高いですよね。そこで、シャノンの情報量の定義によれば、FAX原稿に含まれる情報量はnbit(nは原稿の画素数)より小さいので、符号化を工夫すると、もっと高効率に通信できます。そういう符号化を圧縮符号化と言います。シャノンの情報量は圧縮の理論限界を与えてくれます。
----------------
大学生向けですが、高校数学でも理解できる名著として
瀧 保夫 著「通信方式」が電子通信学会から出ているはずです。
ご回答、ありがとうございます。
特にメリットを答えて頂けたので、シャノンの情報量の定義が具体的なものとして見えてきました。参考文献を調べてみたいと思います。とても参考になりました、ありがとうございます。
No.3
- 回答日時:
文面から推察して面白話の方を;
>>「起こりうる事象がいくつか考えられ,
>>どれが実際に起こるか不確定であるとき
>>そのエントロピーを減少させるもの」
↑↓
>「起こりうる事象がいくつか考えられ,
>どれが実際に起こるか不確定であるとき
>確実さが増す見聞を得れば「情報を得た」という」
良く知られた批判がある。それを引用したサイトがあったので以下に抜粋;
<!--
(前略)
今やエントロピーという言葉は、乱れの渦中にある。例えば情報論では、熱学エントロピーが、
S = klogW (A29)
と書くことができ、それが情報量
H = logW’ (A30)
と似ているというだけで、情報量に情報エントロピーという名前を付けている。もっと良く似せるために、
H = KlogW’、K=1 (A31)
という表現さえ用いる。熱学の場合のkはボルツマン定数という物理学的な基本定数である。しかし、情報論のKはどんなにこじつけても意味は見いだせない。だから、情報エントロピーという呼び方は不当である。
熱学エントロピーは巨大数の法則であり、増大の法則である。情報論ではこういう基本的なことを無視している。また、情報量にエントロピーという別名をつけることによって、情報論はなにも利益を得ていない。情報論の教科書からエントロピーという言葉とその説明を全部消し去っても、情報論に関する「情報」は何一つ失われないのである。
エントロピーに関する言語の乱れは、他にもある。今度は、物理学者自身が原因になっている。エントロピーは、微視的な「乱雑度」とか「無秩序」という意味である。微視的とは、原子や分子の世界のことなのだが、このことを忘れて「整頓した部屋はいつの間にか乱雑になる。これはエントロピーの増大である」などと言う物理学者がいる。これは明らかに間違いである。エントロピー則は、巨大数の法則であって、少数の構成要素の系には適用できないのだ。部屋の中が良く整頓されているか、乱雑であるかは、可能な一つの配置が出現しただけであって、エントロピーとは関係ない。
特にひどい比喩的エントロピーの文献を上げると、
都築卓司『マックスウェルの悪魔』、堀淳一『エントロピーとは何か』(いずれもブルーバックス)がある。
また、最近の経済学の論文には、盛んにエントロピーという言葉が使われるようになった。この多くは「無秩序」という言葉に誘惑された結果である。地球、生物、人間社会について熱学的考察を行う資源物理学にとって、比喩的エントロピーはきわめて迷惑な存在である。
-->
http://www.
シャノンの情報理論は「確率の対数をとったものをエントロピーと名付け」ではない。(生前シャノン自身も語ってるがこれは言葉遊びの部類である)
追うべきは情報圧縮の基本定理、雑音通話路の基本定理。なお前者は眉唾解説が多いので注意。
ご回答、ありがとうございます。
シャノンの情報量の定義は、(下の回答からも)情報圧縮の基本理論に貢献していそうなので、そちらの方を調べてみたいと思います。ありがとうございました。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 哲学 等情報エントロピー帯域の特定(形式学) 1 2023/07/05 20:46
- 統計学 等情報エントロピー帯域の特定(形式学) 1 2023/07/05 20:48
- 国家公務員・地方公務員 公務員試験の作文対策です! 良ければ添削お願いします! ●大地震が起きた時、〇〇町職員として何をすべ 1 2022/10/01 12:32
- 物理学 情報とは何か? 2 2023/05/07 12:42
- 教育・文化 高校生です。将来政治家になって犯罪率を0.0%代にしたいのですが、可能だと思いますか? ㅤ 大まかな 8 2022/08/27 18:51
- 弁護士・行政書士・司法書士・社会保険労務士 翻訳された契約書の難解な日本語 2 2023/08/09 23:41
- 訴訟・裁判 離婚訴訟で本人訴訟は裁判官の心情で不利になるか? 2 2022/07/31 15:08
- 英語 セキュリティーの英語的ニュアンス 3 2022/04/08 23:43
- ダイエット・食事制限 空腹とは? 3 2022/12/17 18:11
- 教師・教員 向こう見ず故の情熱 4 2023/08/08 20:01
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
標準反応エントロピー
-
「平和主義」と「事なかれ主義...
-
混合による、融点の低下のメカ...
-
徳山と在日朝鮮人
-
どうすれば4乗根3の2乗(?)がル...
-
BF3 オクテット則
-
なぜ、エネルギーの変換効率が...
-
こそ~けれは係助詞ですか?そ...
-
KClの溶解
-
数字に関する質問です。 377...
-
凝固の際、エントロピーは増加...
-
マリュスの法則について教えて...
-
ガソリンについて詳しいデータ...
-
エントロピー増大の法則について
-
指数の計算で 底は同じで異符号...
-
熱力学では情報を消去すると熱...
-
宇宙では、エントロピーが増大...
-
魔法を使うには…物理的に…
-
ニュートンの第2法則 F=ma は...
-
日本語のアクセントについて教...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
何故光速度一定の法則は成り立...
-
断熱変化における熱力学第一法...
-
どうすれば4乗根3の2乗(?)がル...
-
自分に都合のいい事だけ記憶し...
-
フェヒナーの法則について簡単...
-
『恩を仇で返される』というか…...
-
「平和主義」と「事なかれ主義...
-
「楽しい」とは何ですか?
-
飽和した食塩水に砂糖は溶ける...
-
熱力学では情報を消去すると熱...
-
日本語のアクセントについて教...
-
標準反応エントロピー
-
0.5の-3乗が8な理由(急いでます)
-
哲学でいう反エントロピーとは...
-
断熱圧縮は等エントロピー変化...
-
こそ~けれは係助詞ですか?そ...
-
優性の法則、独立の法則、分離...
-
なぜ地球は食物連鎖というルー...
-
熱力学 エントロピー 断熱自由...
-
「論理」と「理論」の意味を小...
おすすめ情報