固体や液体と同様、エントロピーは状態を表す概念です。エントロピーは「乱雑さ空間」と言われたり、「自由度を表す指標」と言われたり、「不確実性を表す指標」と言われたり、「束縛エネルギー量の指標」と言われたりします。エントロピーは、熱力学、統計力学、情報理論、量子力学、時間論、宇宙論といった様々な分野に登場する概念です。今回は、情報理論 と 量子力学 の視点からエントロピーを考えてみましょう。

　まずは、条件付き確率と情報理論の関係です。「不確実性を表す指標」としてのエントロピーは、情報量の大きさに比例します。

　普通にサイコロを振ったところ１の目が出たということは シャノン情報量で言うと −(1/6)×log(1/6)×6　≒→　1.79 bit の情報量を私たちに与えてくれたことになります。さて、今ここに特殊な箱があり、その中にサイコロが１個入っており中で自由に転がることができます。この箱は外から光を当てたときにのみ中の状態が外から見えるようになっています。また、箱を転がしたとき、中のサイコロが静止した瞬間にサイコロの出た目が偶数であれば箱の外側に赤色光を発し、奇数であれば箱の外側に青色光を発します。箱を投げた直後に箱は青色光を発しました。そこで箱に外から光を当てたところ１の目が出ていました。箱が青色光を発した（ 確率 1/2 ）という条件の下では、１の目が出てたということは シャノン情報量で言うと −(1/3)×log(1/3)×3　≒→　1.10 bit の情報量を私たちに与えてくれたことになります。普通のサイコロ振りから特殊な箱入りのサイコロ振りに変えることによって、途中で私たちはある情報をゲットするのですが、そのことによってそれ以降にゲットできる情報量は減少します。

　　　−log(1/2×1/3)　＝　−log(1/2)−log(1/3)　≒→　1.79
　　　−log(1/3)　＝　−log(1/2×1/3)＋log(1/2)　≒→　1.79 − 0.69　＝→　1.10


　次に、条件付き確率と量子力学の観測問題との関係です。「不確実性を表す指標」としてのエントロピーは、波として振る舞う物質の存在や運動量を観測した瞬間に粒子として振る舞うようになるというのがコペンハーゲン解釈ですが、波として振る舞う物質の存在や運動量は＋のエントロピーを持っていますが、存在や運動量を観測した瞬間に粒子として振る舞うようになると、存在や運動量に関するエントロピーは０になります。また、量子もつれについて、一方の量子のスピン状態が観測された瞬間に、もう一方のスピン状態が決定されます。まだ観測が何もなされていない時点での、観察者から離れたところにあるもう一方の量子が持つスピン状態に関する情報量は、次の式で与えられます。
　　　−log(1/2×1)　＝　−log(1/2)−log(1)　≒→　0.69
　観察者の近くにある量子のスピン状態が観測されたという条件下における、もう一方の量子が持つスピン状態に関する情報量は、次の式で与えられます。
　　　−log(1)　＝　−log(1/2×1)＋log(1/2)　≒→　0.69 − 0.69　＝→　0

　※ 参照：
　　　　 大学生のための数学 ＞ その他の数学 ＞ 条件付きエントロピー
　　　　 大学生のための数学 ＞ その他の数学 ＞ 情報量の数値化