機器學習算法05之 —— XGBoost

  訓練： 根據OBJ(Gain,根據每個葉子結點損失函數的一階二階導數計算)損失函數，使用貪心算法，從很多種結構的樹中選出最優的樹作爲當前迭代層的樹，一層一層選出每一層的最優樹，相加。主要工作有兩個：1.確定每層樹的最優結構 2.確定每層樹的最優葉子節點的分值。 預測： 將樣本 i 放到樹 j 中，找到樣本 i 在樹 j 中被分到的葉子節點的預測值score(根據每個葉子結點損失函數的一階二階導

>>阅读原文<<