信息熵:信息的不肯定性的大小。一條信息消除的不肯定性越大(即熵越大),它蘊含的信息量越大。 信息量:消除不肯定性的大小。 好比在數據打標籤過程當中。 句子1 熵爲2.7 標記爲A類 句子2 熵爲5.0 標記爲B類 那麼句子2的信息量明顯大於句1的信息量。由於句子2的不肯定性更大,但它任然能肯定它的類別,說明句子2更有價值。數學
參考《數學之美》第六章。io
參考網址:https://www.zhihu.com/question/22178202數據