信息熵

信息熵:信息的不肯定性的大小。一條信息消除的不肯定性越大(即熵越大),它蘊含的信息量越大。
信息量:消除不肯定性的大小。

好比在數據打標籤過程當中。
句子1  熵爲2.7     標記爲A類
句子2  熵爲5.0     標記爲B類
那麼句子2的信息量明顯大於句1的信息量。由於句子2的不肯定性更大,但它任然能肯定它的類別,說明句子2更有價值。數學

參考《數學之美》第六章。io

參考網址:https://www.zhihu.com/question/22178202數據

相關文章
相關標籤/搜索