Neural Network-Softmax function-Cross Entropy Cost function的公式推導過程

  方程組中的第一個等式表示的是損失函數，該損失函數的交叉熵函數Cross-Entropy Cost function 方程組中的第二個等式表示的是每一個神經元的輸出函數，其中在輸出層使用SoftMax函數，其他層使用sigmoid函數 方程組中的第三個等式表示的是由上一層的神經元的輸出和權重得到的加權和 那個現在的問題還是之前的老問題，對參數w和b求偏導，，，然後通過梯度下降算法訓練這兩個參數。

>>阅读原文<<