卷積神經網絡(二):Softmax損失以及反向傳播導數推導

Softmax與交叉熵 Softmax函數如下: Pk=eθkx∑dj=0eθjxPk=eθkx∑j=0deθjx 其中,label(i)表示第i個樣本的標籤爲第幾類,I(label(i)==k)判斷第i個樣本的標籤是否爲k,若是值爲1否則值爲0 Softmax對反向傳播推導 Softmax反向傳播求導主要使用鏈式求導法則,因此我們只需要從輸出層開始逐層倒推即可。 博主爲了簡便期間,先只討論一般的
相關文章
相關標籤/搜索