GBDT

一、流程 基函數線性加權和得到最終的強分類器。每輪迭代得到一個弱分類器，這個分類器是在上一輪的殘差基礎上得到的。本輪就是要找一個cart樹，使得本輪的損失函數值更加的小。 二、如何選擇特徵（就是如何生成cart樹） 迴歸樹：平方誤差和最小化，對於特徵A=a時，集合D的誤差最小時，就選擇這個特徵值最爲切分點。 分類樹：使用基尼係數，計算對於特徵A=a時，集合D的基尼指數最小時，就選擇這個特徵最爲切分

>>阅读原文<<