田園信息論第二章與概率論重合部分

自信息：由克勞德·香農提出，是與概率空間中的單一事件或離散隨機變量的值相關的信息量的量度。它的定義爲：一個隨機產生的事件所包含的自信息數量，只與事件發生的概率相關。事件發生的概率越低，在事件真的發生時，接收到的信息中，包含的自信息越大。此外，根據定義，自信息的量度是正的而且是可加的。如果事件 C 是兩個獨立事件 A 和 B 的交集，那麼宣告 C 發生的信息量就等於分別宣告事件 A 和事件 B 的信

>>阅读原文<<