自信息量，熵及其性質

一般地，如果一個隨機事件有種等可能的結果，那麼對其編碼恰需要n位二進制數，即n比特來儲存消息。 因此，可以把對所有可能消息的最小二進制編碼位數近似着作該隨機事件的熵，記爲H。 對於上面的例子分別有 定義2.3      隨機事件,發生概率的對數的相反數定義爲該隨機事件的自信息量，記作。設的發生概率爲，則其自信息爲 當，即隨機事件，不發生時，定義爲無限大；當，即隨機事件爲確定事件必然發生時，；對於，

>>阅读原文<<