python機器學習決策樹理論知識

決策樹 以信息熵爲度量構造一顆熵值下降最快的數,到葉子節點處的熵值爲零,此時每個葉子節點中的實例都屬於同一類 1. 信息熵 2. 條件熵 在X發生的前提下,Y發生"新"帶來的熵 H(Y|X) = H(X,Y) - H(X) 3. 相對熵 兩個隨機變量之間的相對距離 4. 互信息 兩個隨機變量X,Y的互信息 I(X,Y) = H(X) + H(Y) - H(X, Y) H(X|Y) <= H(X)

>>阅读原文<<