決策樹學習

 id3　　信息增益

c4.5　　信息增益比

CART　　基尼指數

 

參考  

優缺點：  決策樹算法原理 (上)   決策樹算法原理 (下)

簡略介紹：   [Machine Learning & Algorithm] 決策樹與迭代決策樹（GBDT）

1.熵的概念

首先，咱們須要熟悉信息論中熵的概念。熵度量了事物的不肯定性，越不肯定的事物，它的熵就越大。具體的，隨機變量 X 的熵的表達式以下：

熟悉了一個變量 X 的熵，很容易推廣到多個個變量的聯合熵，這裏給出兩個變量 X 和 Y 的聯合熵表達式：

有了聯合熵，又能夠獲得條件熵的表達式 H(X|Y)，條件熵相似於條件機率, 它度量了咱們的 X 在知道 Y 之後剩下的不肯定性。表達式以下：