機器學習_決策樹和隨機森林

一、 熵 1、信息熵: 度量隨機變量不確定性的標準,熵越大,信息量越大,不確定性越高,越混亂。 2、條件熵: X X X已知的情況下, Y Y Y的不確定性。 3、相對熵: 可以度量兩個隨機變量的距離。(KL散度) 4、互信息: 兩個隨機變量 X , Y X,Y X,Y的互信息,定義爲: X , Y X,Y X,Y的聯合分佈 P ( X , Y ) P(X,Y) P(X,Y) 與邊緣分佈的乘積 P
相關文章
相關標籤/搜索