損失函數 l1, l2, smooth l1

爲什麼選擇smooth l1? 當loss處於[-1,1]之間時，梯度下降同 l2，比較緩慢，不至於在最優值左右來回震盪； 當loss處於[−∞,-1]，[1,+∞]，梯度下降同 l1，避免了 l2的梯度爆炸情況；同時，對於噪聲也沒有l2敏感，增強了抗噪性。

>>阅读原文<<