[DeeplearningAI筆記]改善深層神經網絡_優化算法2.6_2.9Momentum/RMSprop/Adam優化算法

Optimization Algorithms優化算法 覺得有用的話,歡迎一起討論相互學習~Follow Me 2.6 動量梯度下降法(Momentum) 另一種成本函數優化算法,優化速度一般快於標準的梯度下降算法. 基本思想:計算梯度的指數加權平均數並利用該梯度更新你的權重 假設圖中是你的成本函數,你需要優化你的成本函數函數形象如圖所示.其中紅點所示就是你的最低點.使用常規的梯度下降方法會有擺動

>>阅读原文<<