機器學習之樹模型

決策樹模型，樹的結構固定，自頂向下分叉。優化方法就是搜索某個特徵的取值範圍做爲分支的界限。因此，各類決策樹模型的體如今度量信息增益的方式，Formally講，就是損失函數。迴歸樹用MSE，分類樹用交叉熵。web xgboost模型 推導第t步的損失函數 獲得新的目標函數並進一步，將它分解爲T個葉子節點上子目標函數之和（方便下邊搜索樹結構使用）。 解這個二次函數的最小值問題獲得形式化的解法。 貪心法

>>阅读原文<<