xgboost

集成學習 共同點： 都是由很多弱分類器構成的。(弱分類器：表現不太好的分類器) 區別： bagging：過擬合 boosting：欠擬合 提升樹： 基於殘差做訓練 隨機森林： 隨機森林是同時訓練多個模型，預測的時候通過加權平均方式(投票)來參與。 xgboost： 相加來參與 思路詳解 跟邏輯迴歸的連續性的優化問題不同。xgboost是個離散值的優化問題。 損失函數l可在後面任意選擇。 樹的複雜度

>>阅读原文<<