神經網絡損失函數公式解讀

原文地址：https://www.cnblogs.com/pinard/p/6437495.html

上面地址是一篇講解DNN的文章，其中部分公式推導過程，本身在這裏作一些記錄，方便之後查閱。

 

上圖公式由下兩圖公式得來，a^L  = [ 1/ (1 + e^-z) ]對z的求導，用到了sigmoid函數，sigmoid函數求導後的結果 [ e^-z / (1 + e^-z)² ]，通過轉換變成了（a^L)(1-a^L)。紅色部分是巧妙點，因此softmax的交叉熵損失函數能夠規避sigmoid函數導數爲0的問題，解決了梯度消失問題。