信息量，熵，互信息，信道容量等相關概念

讀論文時，發現關於信息論一無所知的樣子，基本概念十分混淆，下面是一些基本概念及對應的理解~ 文章目錄 一. 信息量 二. 熵 三. 聯合熵 四. 條件熵 五. 互信息 六. 信道容量 一. 信息量 1. 定義 信息量是對事件的不確定性的度量，單位bit。 定義：在隨機變量X中，事件x的(自)信息量 I ( X = x ) I(X=x) I(X=x)簡寫爲 I ( x ) = − l o g 2 p

>>阅读原文<<