信息熵及其相關概念

1. 熵的定義是怎麼來的？ 1.1 信息熵的三個性質 1.2 對信息熵三條性質的理解 1.3 回看信息熵定義 2. 伯努利分佈熵的計算[3] 3. 兩隨機變量系統中熵的相關概念[4] 3.1 互信息 3.2 聯合熵 3.3 條件熵 3.4 互信息、聯合熵、條件熵之間的關係 4. 兩分佈系統中熵的相關概念[5] 4.1 交叉熵 4.2 相對熵 4.3 相對熵與交叉熵的關係 參考 轉自個人博客 機器學

>>阅读原文<<