機器學習-決策樹和隨機森林

信息熵 熵：度量隨機變量的確定量：如果變量完全確定則是0，如果變量完全能不確定則是1； 數學期望(mean)：是試驗中每次可能結果的概率乘以其結果的總和，它反映隨機變量平均取值的大小； 條件熵：在確定的一個或多個條件下，確定另一個信息的熵； 推導過程： 相對熵： 互相息： 總結： 相關熵（KL散度）：可以度量兩個隨機變量之間對的距離； 決策樹學習算法 利用熵來做決策樹：就是熵逐漸減小的過程，但是不

>>阅读原文<<