深度學習中優化算法的演進歷程

隨機梯度下降（SGD）   缺點： 在訓練過程中可能會錯誤標記數據，或者有數據和正常數據差別很大，使用這些數據進行訓練，求得的梯度也會有很大的偏差，因此，SGD在訓練過程中會有很大的隨機性。   解決方法：選擇一批量的數據，一起求梯度和，再求均值。也就是一個batch更新一次權重。如下圖所示：     以上的兩種方法的缺點是：計算量大，更新速度慢 解決方法：採用SGD+Momentum Momen

>>阅读原文<<