決策樹--熵(Entropy)，互信息(Mutual Info)

互信息公式：g(D,A) = H(D) - H(D|A) 其中H(D)爲熵，也叫經驗熵，香農熵。H(D|A)是指在A條件下的熵，即條件熵。 H(D|A) = sum Pi * H(D|A=Ai), i=1,…,n Pi爲Ai條件出現的機率，H(D|A=Ai)爲Ai條件的熵。web 這裏寫代碼片 def

>>阅读原文<<