信息與熵值的計算

原文地址http://www.javashuo.com/article/p-xwpfivmn-cr.html 1. 什麼是信息？ 信息的定義涉及概率論中的隨機事件概率，如果待分類事物可能劃分在多個分類之中，則符號 Xi 的信息定義爲： 其中 p(xi) 是選擇該分類的概率。（該定義來自於《機器學習實戰》P35） 舉個例子：已知事件 X 的概率分佈如下，計算符號 X 的信息： X X0 X1  p 

>>阅读原文<<