bagging,random forest,boosting(adaboost、GBDT),XGBoost小結

Bagging 從原始樣本集中抽取訓練集。每輪從原始樣本集中使用Bootstraping(有放回)的方法抽取n個訓練樣本(在訓練集中,有些樣本可能被多次抽取到,而有些樣本可能一次都沒有被抽中)。共進行k輪抽取,得到k個訓練集。(我們這裏假設k個訓練集之間是相互獨立的,事實上不是完全獨立) 每次使用一個訓練集得到一個模型,k個訓練集共得到k個模型。但是是同種模型。(注:k個訓練集雖然有重合不完全獨立
相關文章
相關標籤/搜索