XGBoost

原理 xbt中的目標函數是有個正則項懲罰複雜模型; 將樹拆分成結構部分q和葉子部分權重w; 構建最優模型的一般方法是最小化訓練數據的損失函數,我們用字母 L表示,如下式: 式(1)稱爲經驗風險最小化,訓練得到的模型複雜度較高。當訓練數據較小時,模型很容易出現過擬合問題。 因此,爲了降低模型的複雜度,常採用下式: 其中J(f)爲模型的複雜度,式(2)稱爲結構風險最小化,結構風險最小化的模型往往對訓練
相關文章
相關標籤/搜索