（１） 情報量の単位

　情報量の単位はビットです。
　１ビットは 0 または 1 の２つのものを扱うことができます。
　２ビットは 00 または 01 または 10 または 11 の４つのものを扱うことができます。
　３ビットは 000 または 001 または 010 または 011 または 100 または 101 または 110 または 111 の８つのものを扱うことができます。
　n ビットは ２ⁿ 個のものを扱うことができます。
　２^m 個のものを扱うことができる情報の情報量は、m ビット です。 m ＝ log₂２^m です。

（２） 自己情報量

　情報Ａ：「Ａさんは毎日食事を摂取する。」
　情報Ｂ：「Ｂさんは毎日味噌汁を飲む。」
　情報Ｃ：「Ｃさんは毎日カレーライスを食べる。」

　以上の３つの情報があります。下に行くほど情報の価値は大きそうですね。無作為に人１人を選んだ時に、その人が毎日食事を摂取する確率は 1 で、その人が毎日味噌汁を飲む確率は 1/2 で、その人が毎日カレーライスを食べる確率は 1/1024 です。（ まあ、そういうことにしておいてください。） 情報の内容が現実に存在する確率が低いほど、それは稀なケースであり、「そんなのあたりまえじゃん」ではなく、「新聞の記事にしてみようか」ということになりますので、情報の価値が大きくなると言えましょう。そこでシャノンは、情報の価値を数値化することにしました。彼は情報の価値を情報量に置き換えたのです。彼が考えたことは次のようなことです。

　まず、情報の価値の大きいものは、より多くの個数のものを取り扱うことのできる情報だとみなします。そしてその情報が２ⁿ 個のものを扱えるものであれば、その情報量は n ビットになります。そして、２ⁿ 個 というところを、情報の内容が現実に存在する確率の逆数を用いることにしたのです。そうすると、その内容が現実に存在する確率の低い情報ほどより多くの個数のものを扱えることになりますものね。

　情報の価値を「自己情報量」に価格化すると、情報Ａは 0 ビット、情報Ｂは 1 ビット、情報Ｃは 10 ビット になります。

　　　　　　※ 参照： 大学生のための数学 ＞ その他の数学 ＞ 情報量の数値化