熵

熵的定義 在信息論與概率統計中，熵是表示隨機變量不確定性的度量。設 X 是一個取有限個值的離散隨機變量，其概率分佈爲 則隨機變量 X 的熵定義爲 其中對數通常以 2 或者 e 爲底，這時熵的單位分佈成爲比特或者納特。由定義可知，熵只依賴 X 的分佈，與其取值無關，所以也可以將 X 的熵記爲 H（p）,即 熵越大，隨機變量的不確定性就越大。 條件熵 設有隨機變量 (X,Y),其聯合概率分佈爲 條件熵

>>阅读原文<<