改進神經網絡的方法（學習緩慢，過擬合，梯度消失）

本文內容來自：Michael Nielsen的《Neural Networks and Deep Learning》中文翻譯 學習緩慢問題 產生原因 我們之前用的代價函數都是二次代價函數： a是神經元的輸出，假設訓練輸入x=1，輸出y=0，求權重和偏置的偏導數有： 偏導數受激活函數的變化率的影響，假設我們激活函數爲sigmoid函數，我們看一下函數圖像： 當神經元的輸出接近1的時候，曲線非常平緩，

>>阅读原文<<