Boosting 簡單介紹

前面介紹了Adaboost，知道了Adaboost是損失函數爲指數函數的Boosting算法。那麼Boosting還包括瞭如下幾個：

損失函數名稱	損失函數	算法
平方差（Squared error）	$\frac{1}{2}(y_i-f(x_i))^{2}$	L2 Boosting
絕對值差（Absolute error）	$\left | y_i-f(x_i) \right |$	Gradient Boosting
指數損失（Exponential loss）	$exp(-\widetilde{y_i}f(x_i))$	Adaboost
對數損失（Log loss）	$log(1+exp(-\widetilde{y_i}f(x_i)))$	LogitBoost

其中：

$f(x)=w_0+\sum_{m=1}^{M}w_m\phi (x)$

$\widetilde{y_i}\in \{-1, +1\}$

$y_i \in \{0, +1\}$

除了Adaboost外，其他三個還沒學習。寫在這裏以備後續瞭解boosting算法。