損失函數和過擬合

一、二次代價函數(quadratic cost) 其中，C表示代價函數，x表示樣本，y表示實際值，a表示輸出值，n表示樣本的總數。爲簡單起見 ，同樣一個樣本爲例進行說明，此時二次代價函數爲： a=σ(z), z=∑Wj*Xj+b σ() 是激活函數 假如我們使用梯度下降法(Gradient descent)來調整權值參數的大小，權值w和偏置b的梯度推導 如下： 其中，z表示神經元的輸入，σ表示激活

>>阅读原文<<