使用交叉熵作爲代價函數

二次代價函數（quadratic cost）： 其中，C表示代價函數，x表示樣本，y表示實際值，a表示輸出值，n表示樣本的總數。 例如： 假如我們使用梯度下降法（Gradient descent）來調整權值參數的大小，權值w和偏置b的梯度推導如下： 其中，z表示神經元的輸入。w和b的梯度跟激活函數的梯度成正比，激活函數的梯度越大，w和b的大小調整得越快，訓練收斂得就越快。 假設我們的激活函數是si

>>阅读原文<<