熵、條件熵、相對熵的介紹

熵的定義 熵是熱力學中的概念，表示體系混亂程度的度量。在計算機領域中，熵通常用來表示信息的不確定性程度。信息量的度量就等於不確定性的多少，信息量越大，不確定性越高，熵越大。 例如：有人說廣東下雪了。 我們是十分不確定的。因爲廣東幾十年來下雪的次數寥寥無幾。爲了搞清楚，我們就要去看天氣預報，新聞，詢問在廣東的朋友，而這就需要大量的信息，信息熵很高 例如：太陽從東邊出來。這句話是確定的，信息量非常小，

>>阅读原文<<