決策樹、CART、GBDT、Xgboost學習筆記

一、決策樹 決策樹由結點和有向邊組成,結點又分爲內部結點和葉結點。從本質上來看,決策樹的學習過程包括特徵選擇,決策樹生成和決策樹剪枝3個部分。 1.1決策樹特徵選擇 所謂決策樹特徵選擇即選擇合適的特徵作爲結點對訓練樣本進行劃分,通常使用信息增益或者信息增益比作爲特徵選擇的標準。 信息增益 g(D,A)=H(D)−H(D|A)=−∑k=1K|Ck||D|log2|Ck||D|+∑i=1n|Di||D
相關文章
相關標籤/搜索