情報量の定義でなぜ対数を使うのかを教えてください！

学校の授業で習ったのですが、よくわかりませんでした。

すごく優しめに教えていただけないでしょうか？

No.16 回答者： dionysus_chaos 回答日時： 2012/06/07 08:51

また補足です

「時間的に変化するような集合をモデル」
とは、あくまで一例です。
変化が時間に依存するか、その他の物に依存するかは、
これから、いろいろと考えていくところであります。
「情報量とは集合の大きさを表すひとつの方法である」
というのは、正しい考え方です。
しかも、この考え方は、日本語のインターネットのＨＰやブログでは
紹介されていないはずです。
また、教科書から逸脱した説明ができない学校でも、聞くことはないでしょう。
おたくの、「情報理論を正しく理解する」とは
形骸化したシャノン等の理論を後生大事にする、頭の堅いお方なのではないですか。
まあ、回答者同士が論争しても意味がなく、
質問者にも迷惑でありましょう。
また、質門者の質問文がいくら拙くて、口足らずでも、
それをあげつらって、ほとんど人間性の否定発言になるのもいかがなのもでしょうか。
最近のgooでは、この手の回答文が目につき、衰退しているように思えます。
いきなり、どこそこのＨＰをみよというのも頂けません。
自分なりのＨＰの感想や評価、解説をつけるべきです。
また、他の回答者への誹謗中傷もひかえるべきです。
私は、侮辱されたと感じています。

No.15 回答者： xexstyle 回答日時： 2012/06/05 14:47

ANo.13、14の方が、「時間的に変化するような集合をモデルとして、考えねばならない」とおっしゃっていますが、情報理論におけるエントロピーは特に時間的な変化を考える必要はありません。

情報の出現確率が分かれば、時間軸に関係なく決定されます。

また、ソフト開発というのものをどの範囲までいうかにもよりますが、広い意味でいうとソフト開発で情報理論は使われます。
例えば、ファイルを圧縮して、サイズを小さくするということがありますが、圧縮の技法は情報理論の塊ですし、ひとつのファイルをどこまで小さくできるかはまさにエントロピーで決定されます（
いくらでも小さくできるというわけではない）。

質問の趣旨を理解せず昨日までトンチンカンな説明をしていた方が、今日になって理解し、なんとか昨日の回答と辻褄を合わせようとインターネットで検索しまくって、もっともらしい情報を集め、にわかに用意した回答って感じですね。
情報理論を正しく理解している方の回答とは思えません。

No.14 回答者： dionysus_chaos 回答日時： 2012/06/05 10:29

さらに補足

情報量のもう一つの定義
「情報量とはビックリの度合い」
ある事象のおこる確率をＰとすると
その事象の情報量は　log(1/P) である。
かならず起きるとすると，P=1で、log(1/p)=0 となり
まったく、ビックリしない。
まったく起きないなら p=0で log(1/p)=∞
全く恐るべき驚愕
という定義です。

情報理論の教科書には、こちらの方が掲載されています。

しかし、これは、よく考えると、「集合の大きさを表す一種の方法」
と同じだということがわかるはずです。
たとえば４０人の生徒のうち誰か一人を選ぶ確率はＰ＝１／４０
ｌｏｇ（１／Ｐ）＝ｌｏｇ４０　＜　６
ですな。

No.13 回答者： dionysus_chaos 回答日時： 2012/06/05 09:25

補足２

説明不足かなと思ったので補足します。
「集合の要素を識別する」とは
具体的に言えば、集合の要素に順に「背番号」をつけることだと
思えばよろしい。
学校のクラスに４０人の生徒がいれば
背番号をつけるためには、２進数で６ビットの桁数が必要です。
このクラスの情報量は６ということになります。
５＜log４０＜6 　（底は２）です
実際のソフト開発に情報理論が使われるのは皆無ですが、
情報量に相当する数値として代表的なものに、
カラーデプス（色深度）があります
カラーデプスが２４なら１６万色
カラーデプスが１６なら６万色

ここまで言えばおわかりなるのでは、と思いますが。

ちなみに、情報量の平均値をエントロピーと言いますが。
集合の考え方を用いて、エントロピーを説明する方法が
あるのですが、エントロピーを考える場合は一般的な集合ではなく
なにか時間的に変化するような集合をモデルとして、考えねばならないようです。
情報理論でいうところのエントロピーと熱力学でのエントロピーとは
本質的には、おなじものです。
以上は蛇足でした。

No.11 回答者： jjon-com 回答日時： 2012/06/05 00:26

> 自力で調べろ、ということですね？（ANo.5への補足）

いいえ，違います。
「よくわかりませんでした」とだけ言われても，赤の他人には何が分からないのかが分からない。
「こっちは初心者なんだから，何が分からないかくらい回答者の方で読み取ってくれ」
「それが分からないのなら，小学生レベルの基礎からすべて書いて説明してくれ」
と言われても，回答者もいわばボランティアですから，そんなたいへんな手間はかけたくないし，無駄骨は折りたくない。

だから，自力で調べなくてもいいから，
質問者が自分の状況をイチから書き下すのがメンドウでサボりたいのなら，Google検索した結果を元にして「このURLで示された解説ページのこの記述が分からない」と流用してもいいから，
「何が分からないのかという点くらい，すごく優しめに教えていただけないでしょうか？」
と言ったのです。

この回答への補足

そういうことでしたか！
なるほど、この場合は私が反省すべきですね・・・
今度からは良く考えます。

ただ、貴方に対しても、私がこの文章の内容を前回の内容から読み取れていないことを考えると、貴方のこの文章は貴方にも当てはまる部分がありますよね。

ちょうど、

「回答者（貴方）が、質問者はどの段階まで理解できていて、何が理解できないのかが分からない」

というのと

「質問者（私）が、回答者は何をもってGoogleでの検索を勧めているのかが分からない」

というのが同じように。

補足日時：2012/06/05 01:31

この回答へのお礼

回答ありがとうございます。

お礼日時：2012/06/05 01:33

No.10 回答者： xexstyle 回答日時： 2012/06/04 18:39

質問者さんがおっしゃる”情報量”とは、シャノンが構築した情報理論（あるいは通信暗号理論）にでてくる（狭い意味での）情報量のことだと思います。

なぜ対数を使うかは少し難しい話です。
専門書でもそこはすっ飛ばしているものもあります。

まず情報量も量ですから、情報がなければ情報量はゼロであり、情報が少しでもあれば情報量はプラスの値をとるという考えは自然だと思います。
またあとから何らかの情報が付加されれば、その分、情報量は加算されるものという考えも自然だと思います。
例えば、トランプのカードで考えると、スートが４種類（スペード、クラブ、ハート、ダイヤ）で、それらに１～１３までの数字がついていて、全部で52枚あります。
そのうちの一枚がハートであると知ったあと、数字は７だと知ったとします。
全体の情報量は、ハートであるとの情報量と数字が７であるとの情報量が合算されたものを考えるのが自然です。

これら二つの条件を満たしてくれる関数が対数なのです。
事象iの確率をP(i)、対数の底を2とすると、シャノンの情報理論での情報量は-logP(i)と”定義”されますが、これであれば上記二つの条件を満たしてくれます。
情報がなければ、-logP(i)もゼロですし、少しでも情報があれば-logP(i)はプラスの値になります。
またトランプの例では、ハート、かつ数字は７ということは、-logP(ハート∩数字７) = -logP(ハート) + -logP(数字７)となり、全体の情報量は、初めの情報量にあとからの情報量を加算して求めることができます。

ではこれらの対数の底がなぜ2なのかというと、確率P(i) は0から1までの値をとりますが、ちょうどその中間の値をとったときを基準にしようとしたからで、確率P(i)=0.5のときは1bitとなります。


これらの考えは"定義"であって任意性があり、必然的に、あるいは絶対にこれでなければならないというものではありません。
しかし、情報量をこう定義することで、上記のとおり感覚に合致するし、計算もしやすく、拡張性（いろんな場面で活用できる）も得られるから便利なのでこうしているのです。
もっとよい情報量の定義が見つけられたらそれに入れ替わるかもしれませんが、現在の社会では通信や暗号などはほとんど全部、このシャノンが定義した情報量に依存してできあがっています。
シャノンの情報理論が確立される前は、ハートレーという人が独自の情報量を定義（これも対数を使ってる）していましたが、拡張性がないため多用されませんでした。

この回答への補足

この質問での「情報量」というのはシャノンが提唱したものです。
紛らわしくてすいません。

補足日時：2012/06/04 23:10

この回答へのお礼

回答ありがとうございました。
今までの解説の中で一番分かりやすかったです。

お礼日時：2012/06/04 23:15

No.9 回答者： okormazd 回答日時： 2012/06/04 12:00

「優しめに」ね。

情報量の定義が対数であらわされているわけではありません。
あえていえば、「情報量の単位」が2の対数=ビットであらわされているということです。

情報量の最小単位は1ビットすなわち2進数の1桁で、白/黒、ON/OFF、0/1、yes/noなど2つの状態を表すことができる2値情報です。要するに最低でも2つのものの区別ができなければ情報は表せません。

白い紙があったとします。これを見て「白い紙」という情報が得られるのは、事前に「白」以外の色が少なくとも1つはあることと、「紙」以外の材料が少なくとも1つはあることを知っているからです。もし、「白」以外の色や「紙」以外の材料を知らなければ「白い紙」という情報はもちろん他の何の情報もえられないでしょう。ここで、「黒」という色があることを知っていれば、今見ている色は「白」であるという情報が得られます。すなわち情報を得るためには、最低2つの状態の区別ができなければならないということです。それは材料についても同様です。

つぎは、白い紙を前提にした話です。白い紙をみただけでは何の情報も得られません。白い紙に何らかの情報があるとすれば、紙面に「白」とは違う何らかの区別がつかなければいけません。1つの黒い点があればそれが情報になりますし、それは「白」と区別できる最低の情報で1ビットです。紙になにかを書いて情報を伝えるというのは、その情報の量に応じた区別を紙の上にしているということです。

話を元の「白い紙」に戻します。
色が8色、材料が8種類あるとします。それぞれを区別するには8個(3ビット=log_2(8)です)ずつの区別ができればいいですが、色と材料を両方区別しようとすると2倍の16通りではダメです。「白」で8種の材料、「赤」で8種の材料というようになるので、8×8=64通り(6ビット=log_2(64)です)の区別が必要です。項目(色、材料など)の数によって指数関数的に区別しなけければならない数(これが情報量です)が増えます。
情報量は対数で表す必要はないのですが、上記のように指数関数的に増える量を表すのに対数が便利なだけです。

別の回答者への補足でさかんに「理論を」と言っていますが、「情報量は対数で表す」という「定義」があるわけではないので、「理論」もへったくれもありません。
「情報量」と「情報量の単位」を混同していませんか。そういう意味では質問が間違っているのです。

「情報量の単位」が「ビット」であらわされ、それは情報量の2の対数だというのは、上記の説明の通りです。

この回答への補足

紛らわしくてすいません。
私が質問している「情報量」とはシャノンによるものです。

情報量の定義はたくさんありますが、シャノンによる情報量による定義には対数は出てきますよね。

補足日時：2012/06/04 23:16

この回答へのお礼

回答ありがとうございました。

「理論を」というのは、シャノンによる情報量の定義が、情報理論に出てきたので何か理論があるのかと思い書かせていただきました。

お礼日時：2012/06/05 19:46

No.8 回答者： dionysus_chaos 回答日時： 2012/06/04 08:38

補足

というわけで、桁数を決定するために対数を使います。
ちなみに、桁数を判定するためには、かならずしも２進数でなくとも
かまいません。
１０進数でもよいわけで、
対数の底にｅ（オイラー数）をつかうこともあります。
これは、微分積分などの計算が簡単になるからです。
ｅ進法なんてものは実際にはありませんが、
これは、つきつめれば、情報量というのは相対的に大きさを判定できれば良い、
他と大小比較できれば、事足りる量であるということです。

この回答への補足

ん～、言っていることが分からないというのは、私の能力が足りないからでしょうか・・・。

とりあえず、もっと勉強してみますね。

補足日時：2012/06/04 23:08

この回答へのお礼

回答ありがとうございました。

お礼日時：2012/06/04 23:08

No.7 回答者： dionysus_chaos 回答日時： 2012/06/04 08:22

ザクッと説明しますと、

情報量とは、
数学で言うところの集合の要素数に関係した数で
「集合の大きさをあらわす方法の一種」だと思えば良いです。
集合の大きさを表すには、いくつか方法があります。
さて、情報量とは、どうやって集合の大きさを表しているかというと、
「集合の要素を識別するには、２進数で何桁の数が必要か」
という観点で集合の大きさを表現します。
したがって集合の要素数が１６個だと２進数が４桁で足りるので、
この集合の情報量は４ということになります。

この回答への補足

集合からの観点での説明ですね。

対数を前面に出した解説をお願いできませんか？

補足日時：2012/06/04 23:06

この回答へのお礼

回答ありがとうございました。

お礼日時：2012/06/04 23:06

No.6 回答者： bardfish 回答日時： 2012/06/04 06:47

貴方はおいくつですか？

学校は何処まで行きましたか？

手書きで１０桁以上の数字を１時間書き続けて何も感じない人なのでしょうか？

日常でもそういう例は沢山ありますよね。
お金の数え方にしても「1000000円」と書くよりも「100万円」と書いたほうが楽だし誤読も少ないですよね。

と言うことは、貴方は普段の生活から何も得るものがないという観察力が非常に欠如した人、事象から問題を見つけ解決策を導く能力がないという人なんでしょうか？
※「創意工夫」をしない人。と言い換えることも出来る。


論理云々と言うよりも、一般常識に類するものだと思うんですけど・・・
※単位は専門的だとしても考え方は・・・という意味。

この回答への補足

補足日時：2012/06/04 23:05

この回答へのお礼

回答ありがとうございました。

お礼日時：2012/06/04 23:05