神經網絡與深度學習筆記（四）爲什麼用交叉熵代替二次代價函數

1、爲什麼不用 二次方代價函數 我們用的 loss 方程是 a 是 神經元的輸出，其中 a = σ(z)， z = wx + b 使用鏈式法則求權重和偏置的偏導數有： 可知，偏導數受激活函數的導數影響 再由 sigmoid 函數可知， sigmoid 的導數在輸出接近 0 和 1 的時候 是非常小的，這會導致一些實例在剛開始訓練時學習得非常慢： 2、爲什麼要用 交叉熵 先看公式： 求權重和偏置的偏

>>阅读原文<<