損失函數總結

1. 均方誤差損失函數（迴歸問題） 注意：當我們用MSE做爲損失函數的時候，最好別用sigmoid，tanh這類的激活函數。從數學的角度來理解，sigmoid函數當x趨於正無窮或者負無窮的時候，函數值接近於1和0，也就是當自變量大於一定值的時候，函數變得非常平緩，斜率比較小，甚至變爲0。 然後當斜率很小的時候，他的導數就很小，而BP在反向傳播更新參數的時候，就是要靠導數。 新的參數 = 舊的參數

>>阅读原文<<