簡略信息熵

1.信息量 發生概率越小，信息量越大；發生概率越大，信息量越小 2.熵 熵(entropy):上面的Ⅰ(x)是指在某個概率分佈之下,某個概率值對應的信息量的公式.那麼我們要知道這整個概率分佈對應的信息量的平均值.這個平均值就叫做隨機變量x的熵  基於圖來看 1.當p=0或者p=1的時候,隨機變量可以認爲是沒有不確定性. 2.當p=0.5的時候,H(p)=1,隨機變量的不確定性最大. 2. 相對熵

>>阅读原文<<