在507幹活的第1天（下）

今天下午的任務是學習理論知識。預期目標是看完「改進神經網絡的學習方法「這一章。 下面是總結。 第一部分：交叉熵代價函數 在利用均方誤差該函數的時候，如果誤差很大，那麼一開始的幾輪迭代，學習速度很低。隨着其越來越接近最終結果，迭代的學習速度變得越來越高。 這很奇怪。 因爲人類可以從更大的錯誤中獲取更大的進步，但是這個算法不行。所以還有待改進。 這個問題稱爲學習減速問題 學習減速問題的根源出在偏導數上

>>阅读原文<<