機器學習_決策樹和隨機森林

一、 熵 1、信息熵： 度量隨機變量不確定性的標準，熵越大，信息量越大，不確定性越高，越混亂。 2、條件熵： X X X已知的情況下， Y Y Y的不確定性。 3、相對熵： 可以度量兩個隨機變量的距離。（KL散度） 4、互信息： 兩個隨機變量 X , Y X,Y X,Y的互信息，定義爲： X , Y X,Y X,Y的聯合分佈 P ( X , Y ) P(X,Y) P(X,Y) 與邊緣分佈的乘積 P

>>阅读原文<<