決策樹的相關知識點——信息熵，條件熵，量化度量指標

1.信息熵的意義及解算：代表樣本所包含的信息量，用來描述數據的不確定性。 高信息熵：即變量是均勻分佈的；低信息熵：變量分佈不均，有的事件發生概率可能比較大。 舉例1： 那麼「專業」的信息熵：H(X) = -[p(數學)*log2(p(數學)) + p(IT)*log2(p(IT)) + p(英語)*log2(p(英語))]                =-[0.5*log2(0.5) + 0.2

>>阅读原文<<