L1,L2,smooth L1

三類都是迴歸常用的損失函數 MAE和L1 優點:無論對於什麼樣的輸入值,都有着穩定的梯度,不會導致梯度爆炸問題,具有較爲穩健性的解。 缺點:在中心點是折點,不能求導,不方便求解。 MAE叫做L1損失 L1()叫L1損失函數 MSE和L2 優點:各點都連續光滑,方便求導,具有較爲穩定的解 缺點:不是特別的穩健,爲什麼?因爲當函數的輸入值距離中心值較遠的時候,使用梯度下降法求解的時候梯度很大,可能導致
相關文章
相關標籤/搜索