深度學習入門筆記手稿（十一）Momentum，RMS，Adam梯度下降法

深度學習入門筆記手稿（十一）Momentum，RMS，Adam梯度下降法 Momentum梯度下降法 RMSprop Adam Momentum梯度下降法 運行速度快於標準梯度下降算法 基本思路： 計算梯度的指數加權平均數，利用該梯度更新你的權重 紅線爲batch梯度下降法的梯度下降情況，同momentum梯度下降法可以讓梯度在縱向上更平緩，更直接，因爲加權平均指數更平緩如鉛筆圖 上面再兩個超參數

>>阅读原文<<