決策樹 Decision Tree

熵與信息增益 決策樹模型本質上就是一個 IF-Then 規則的集合 決策樹學習的第一步就是「特徵選擇」 特徵選擇分兩個步驟進行： 選擇對訓練數據具有最大分類能力的特徵進行樹的葉子節點的分類； 選擇該特徵最合適的分裂點進行分裂。 熵(Entropy)，是表示隨機變量不確定性的度量。 假設 X X 是一個具有有限個值的離散型隨機變量，服從如下的概率分佈： P(X=xi)=pi,i=1,2,...,n

>>阅读原文<<