神經網絡softmax激活函數的求導過程

在使用softmax函數作爲輸出層激活函數的神經網絡中，進行反向傳播時需要計算損耗函數相對於Z的導數，即 。網上有很多公式推導，但都太「數學」化了，看着比較抽象。所以總結下自己理解的比較簡單的推導過程。 首先，爲了直觀理解，我們假設Z爲一個3x1的向量，通過soft max函數激活後的A也爲3x1的向量。當Z的維度更大時，其實方法也都是一樣，爲了避免繁瑣的表達式，這裏進行了簡化。 具體過程如下圖，

>>阅读原文<<