交叉熵損失函中對softmax函數輸入單元求導過程

最近在回顧關於深度學習的基礎知識。在求神經網絡梯度的時候損失函數對於網絡最後一層輸入單元的求導是比較有技巧的。比如在多類別分類任務中經常用交叉熵損失函數訓練softmax來輸出目標值y。這一組合在對softmax輸入單元的求梯度會非常簡單，而且損失函數中的log可以抵消softmax中的exp。下面我就來推導交叉熵損失函中對softmax函數輸入單元求導過程。   下圖便是手動推導過程，我們的目標

>>阅读原文<<