交叉熵代價函數

問題描述：在使用sigmoid激活函數和方差代價函數的場景中，因爲sigmoid的性質，導致σ'(z)在z取大部分值時會很小，如下圖，導致w和b更新非常慢 是什麼：     兩個性質：1.非負性                      2.當真實輸出a與期望輸出y接近的時候，代價函數接近於0 爲什麼：     導數中沒有σ'(z）這一項，權重的更新受σ(z）-y 影響，即受誤差的影響。    

>>阅读原文<<