代價函數和激活函數組合效果

均方差代價函數 + sigmoid C=(y−a)22 C = ( y − a ) 2 2 其中，z=wx+b, 而a是經歷了激活函數的z，a=σ(z)。 那麼這個的梯度，對w和b分別求導，得到： ∂C∂w=(a−y)σ'(z)x=aσ'(z) ∂ C ∂ w = ( a − y ) σ ′ ( z ) x = a σ ′ ( z ) ∂C∂b=(a−y)σ'(z)=aσ'(z) ∂ C ∂ b

>>阅读原文<<