深度學習（一） cross-entropy和sofrmax

Cross-entropy 神經網絡的學習行爲和人腦差的很多, 開始學習很慢, 後來逐漸增快 爲什麼? 學習慢 => 偏導數 ∂C/∂w 和 ∂C/∂b 值小 回顧之前學習的Cost函數: 回顧sigmoid函數: 當神經元的輸出接近1或0時，曲線很平緩，因而會使偏導數 ∂C/∂w 和 ∂C/∂b 值小,致使學習很慢 如何增快學習？ 爲此神經網絡引入交叉熵代價函數cross-entropy函數 彌

>>阅读原文<<