信息熵與編碼定理

驚奇度與信息量 定性描述 驚奇度：一個事件的驚奇度是指該事件發生時我們所感到的驚奇程度 信息量：一條信息的信息量是指該信息所含信息的多少。一條信息越是讓我們感到驚奇，它所含信息量就越大 對於一個擲骰子的試驗，假設E代表擲出點數爲偶數（概率爲1/2），我們對於事件E發生的驚奇程度並不大，但是當E代表擲出點數爲6（概率爲1/6），我們的驚奇程度就會很大。同樣的我們會認爲，「明天太陽會從東邊升起」這句話

>>阅读原文<<