交叉熵代價函數

1.從方差代價函數說起 代價函數經常用方差代價函數（即採用均方誤差MSE），比如對於一個神經元（單輸入單輸出，sigmoid函數）,定義其代價函數爲： 其中y是我們期望的輸出，a爲神經元的實際輸出【 a=σ(z), where z=wx+b 】。 在訓練神經網絡過程中，我們通過梯度下降算法來更新w和b，因此需要計算代價函數對w和b的導數： 然後更新w、b： w <—— w - η ∂C/∂w =

>>阅读原文<<