優化算法：動量梯度下降+RMSprop+Adam算法+學習率衰減

原作：http://www.cnblogs.com/cloud-ken/p/7728427.html 動量梯度下降法(Momentum) 另一種成本函數優化算法,優化速度一般快於標準的梯度下降算法. 基本思想:計算梯度的指數加權平均數並利用該梯度更新你的權重 假設圖中是你的成本函數,你需要優化你的成本函數函數形象如圖所示.其中紅點所示就是你的最低點.使用常規的梯度下降方法會有擺動這種波動減緩了你訓

>>阅读原文<<