信息增益

信息增益           先來定義"信息熵" (information entropy) , 它是度量樣本集合純度最常用的一種指標。假定當前樣本集合D 中的第k 類樣本所佔的比例爲  (k = 1,2,3 ... ) , 則 D 的信息熵爲                                                                             

>>阅读原文<<