熵

信息量 表示話題的驚爆程度，越冷門信息量越大，計算公式是I(x0)=−log(p(x0))，p(x0)在介紹貝葉斯的曾經出現過，代表的是x0出現的概率。可以從公式中看得出x0出現的概率越大，I(x0)越小，p趨於1時I趨於0；反之p趨於0時I趨於無限大。 log的線性圖： 例如中國乒乓球獲得世界冠軍，因爲概率太大了，不會引起大家的注意，所以信息量就很小。但是國足勇得世界盃！會震驚整個世界，那個信息

>>阅读原文<<