多分類交叉熵損失函數的梯度計算過程推導

Softmax函數公式： Si 代表的是第i個神經元的輸出 其中wij 是第i個神經元的第 j 個權重，b是偏移值。zi 表示該網絡的第i個輸出 隱藏層輸出經過softmax： 具體過程如下圖所示： 神經元輸出結果 z4 = w1x1+w2x2+w3x3 z5 = w4x1+w5x2+w6x3 z6 = w7x1+w8x2+w9*x3 經過softmax函數得到 多分類損失函數公式： 其中yi表示

>>阅读原文<<