神經網絡優化——梯度下降常用算法：隨機梯度下降、批處理梯度下降、Moment、move average、RMSprop、Adma

神經網絡優化——梯度下降常用算法：min-batch、隨機梯度下降（SGD）、批量梯度下降、Momentum、move average、RMSprop、Adma 簡介 梯度下降算法是應用於神經網絡反向傳播過程的計算梯度，然後更新參數,最終找到最優的位置。本博客主要介紹隨機梯度下降、批處理梯度下降、Momentum、move average、RMSprop、Adma。也是對Andrew NG 的de

>>阅读原文<<