機器學習總結(四)——隨機森林與GBDT(梯度提升決策樹)

1. 隨機森林簡介 隨機森林採用的是bagging的思想，bagging即：通過在訓練樣本集中進行有放回的採樣得到多個採樣集，基於每個採樣集訓練出一個基學習器，再將基學習器結合起來共同實現分類或者回歸。隨機森林在對決策樹進行bagging的基礎上，在決策樹的訓練過程中引入了隨機屬性選擇。傳統決策樹在選擇劃分屬性的時候是在當前節點屬性集合中選擇最優屬性，而隨機森林則是對結點先隨機選擇包含k個屬性的子

>>阅读原文<<