總結smooth L1爲什麼好!

smooth L1 loss能從兩個方面限制梯度: 當預測框與 ground truth 差別過大時,梯度值不至於過大; 當預測框與 ground truth 差別很小時,梯度值足夠小。 考察如下幾種損失函數,其中 損失函數對 x 的導數分別爲: 觀察 (4),當 x 增大時 L2 損失對 x 的導數也增大。這就導致訓練初期,預測值與 groud truth 差異過於大時,損失函數對預測值的梯度十
相關文章
相關標籤/搜索