決策樹和隨機森林(1)

1.信息熵    (1).熵     熵代表隨機分佈不確定程度，熵越大，不確定越大。隨機變量X熵的定義如下： H ( X ) = − ∑ i = 1 n p ( x i ) l o g   p ( x i ) = − ∫ x p ( x ) l o g   p ( x ) d x H(X)=-\sum_{i=1}^{n}p(x_i)log\,p(x_i)=-\int_{x}p(x)log\,p(x

>>阅读原文<<