機器學習(五)集成算法(三)GBDT與Adaboost與Xgboost與LightGBM

集成算法(三) 梯度提升樹 簡介: 基本思想:積跬步以至千里,每次學習一點。先用一個初始值來學習一棵決策樹,葉子處可以得到預測的值,以及預測之後的殘差,然後後面的決策樹就是要基於前面決策樹的殘差來學習,直到預測值和真實值的殘差爲0。最後對於測試樣本的預測值,就是前面許多棵決策樹預測值的累加。 GBDT的思想可以用一個通俗的例子解釋,假如有個人30歲,我們首先用20歲去擬合,發現損失有10歲,這時我
相關文章
相關標籤/搜索