決策樹的相關知識點——信息熵，條件熵，量化度量指標

1.信息熵的意義及解算：表明樣本所包含的信息量，用來描述數據的不肯定性。 高信息熵：即變量是均勻分佈的；低信息熵：變量分佈不均，有的事件發生機率可能比較大。算法 舉例1：函數 那麼「專業」的信息熵：H(X) = -[p(數學)*log2(p(數學)) + p(IT)*log2(p(IT)) + p(英語)*log2(p(英語))]                =-[0.5*log2(0.5) +

>>阅读原文<<