情報量とエントロピーの関係について

大学の物理化学の講義で、異なる2種類の気体を混合した際のエントロピーの変化量は
ΔS=-Rn{x_alog(x_a)+x_blog(x_b)} （x_a, x_bは気体のモル分率、Rは気体定数、nは全モル、logは自然対数）
となることを習いました。先生によれば、これは情報量と関係があるとのことでした。

そこで、m種類の気体の混合とl(<m)種類の気体の混合において、どちらのエントロピーの変化がどれだけ大きくなるのか、またそれが情報量とどのような関係にあるのか考えました。

まず、２つの体積が等しい球形の容器を用意し、それらを仕切板で、それぞれm個の部屋とl個の部屋に区切ります。ただし、部屋は互いに区別できないとします（上から見ると、ホールケーキをm等分したときのような分け方になります）。
次に、m個の部屋にm種類の気体を n/m molずつ入れていきます。同様にl個の部屋にも n/l molずつ気体を入れます。ただし、気体については「それぞれが異なる」ということしかわかっていないとします。
最後ににそれらを温度、圧力が一定の部屋に置き、仕切り版を全て一斉に取り除きます。
するとエントロピーの増加はm個の気体の方では Rnlogm、l個の気体の方では Rnloglとなり、差がRnlog(m/l) となるので、たしかに情報量の比 m/l と明確な関係があるとわかりました。

しかし、以下の思考実験では、情報量に差があってもエントロピーが同じになることもあるという結果になりました。

まず、上の実験と同じ容器を用意し、m個の仕切り版で区切り、m種類の気体を n/m molずつ入れ、温度、圧力が一定の部屋に置きます。
ここで、仕切り版の取り方を(1)時計回りに一つずつ取る　(2)ランダム一つずつに取る　の二通りにすると、仕切り版を一つずつ取る取り方は全部でm!通りあるので、(1)では仕切り版の取り方は確率1/mでわかりますが（始めの一つはわからない）、(2)では確率1/m!でわかります。ここで情報量の差（不確かさの差？）が (m-1)! 倍だけ生じると思うのですが、エントロピーは状態量なのでその変化は仕切り版の取り方によらず同じになります。

この思考実験のどこかが間違っていますか？
それともエントロピーと情報量は必ずしも相関しないのですか？

No.1 回答者： rabbit_cat 回答日時： 2014/12/20 03:06

結論から言えば、

＞情報量の差（不確かさの差？）が (m-1)! 倍だけ生じる
これが間違っているわけですが。

仕切り版を同時ではなくて、順番に（時間的にずらして）抜いていく場合、各操作（仕切り版を抜く操作）に伴う情報量は、一定ではなくて、それまでの履歴に依存するわけです。

したがって、(1)と(2)とで、場合の数が(m-1)!倍異なっても、一連の操作全体の情報量が等しくなる、というのは別に不思議はないです。

この回答への補足

履歴に依存するというのはなんとなくわかったような気がするのですが、実際に情報量を「履歴に依存させて」求めるとどのような計算になるのですか？（条件付き確率のようなモノ？）

補足日時：2014/12/21 18:18