熵的通俗理解

上次說了有關熵、條件熵、相對熵、互信息的概念及其之間的關係。爲了更好的瞭解熵，這次談一談熵的通俗理解。 1. 公式及其含義 2.信息量 3. 由信息量想到的 4. 信息熵 1. 公式及其含義 熵的公式： 熵的含義： 樣本集合不純度，熵越小，集合不純度越低； 知識的不確定性，熵越小，不確定性越小； 系統的複雜度，熵越大，系統越複雜。（系統越複雜，出現不同情況越多，信息量越大，熵越大。） 2. 信息量

>>阅读原文<<