L1 VS L2(深度學習中的L1與L2)

L1 loss L1 loss的數學公式和函數圖如下所示： L1函數連續，但是在𝑦−𝑓(𝑥)=0處不可導,L1 loss大部分情況下梯度都是相等的，這意味着即使對於小的損失值，其梯度也是大的,這不利於函數的收斂和模型的學習。但是，無論對於什麼樣的輸入值，都有着穩定的梯度，不會導致梯度爆炸問題，具有較爲穩健性的解。 L2 loss(MSE loss) MSE曲線的特點是光滑連續、可導，便於使用

>>阅读原文<<