情報量の数値化
その他の数学 へ戻る
大学生のための数学 へ戻る
2025.03.20
情報量 の単位は 「 bit 」です。
2m 個のものを扱うことができる情報の情報量は、m ビット です。 m = log22m です。
試行A: 1,2,3,4 の4枚のカードから無作為に1枚を選んだとき偶数か奇数か?
試行B: 1,2,4,8 の4枚のカードから無作為に1枚を選んだとき偶数か奇数か?
自己情報量:
試行Aの結果が偶数だった: −log2 (1/2) =→ 1
試行Bの結果が偶数だった: −log2 (3/4) ≒→ 0.415
試行Bの結果が奇数だった: −log2 (1/4) =→ 2
↓↓
まれな事象ほど自己情報量が大きい。
※ f (x×y) = f (x)+f (y) かつ f (1/2) = 1 を満たす関数は、−log2 x
平均情報量( シャノン情報量 ):
試行A: −(1/2) × log2 (1/2) −(1/2) × log2 (1/2) =→ 1
試行B: −(3/4) × log2 (3/4) −(1/4) × log2 (1/4) ≒→ 0.81
↓↓
結果の予想のつきにくい試行ほど平均情報量が大きい。
※ 参照:
ばいおりんの日常的物理学文集 > 経済学と物理学 > 情報の価値の価格化
大学生のための物理学 > 基礎物理学 > 条件付き確率とエントロピー