深度學習—加快梯度下降收斂速度（二）：Monmentum、RMSprop、Adam

上篇博客講的是利用處理（分組數據集）訓練數據集的方法，加快梯度下降法收斂速度，本文將介紹如何通過處理梯度的方法加快收斂速度。首先介紹Monmentum，再次介紹RMSprop，最後介紹兩種算法的綜合體Adam。 1.Monmentum 在介紹Monmentum之前，首先介紹加權平均法。加入給出一組數據的散點圖，要求用一條曲線儘可能準確地描述散點圖的趨勢，如下圖所示（圖來自吳恩達課件）： 描述時利用

>>阅读原文<<