(三)決策樹算法梳理

1、信息論基礎（熵、聯合熵、條件熵、信息增益、阻尼不純度） 熵：自信息的數學期望， H ( X ) = E ( l o g 1 P ( a i ) ) = − ∑ i = 1 q P ( a i ) l o g P ( a i ) H(X) = E(log\frac{1}{P(a_i)})=-\sum_{i=1}^{q}P(a_i)logP(a_i) H(X)=E(logP(ai​)1​)=−∑i

>>阅读原文<<