神經網絡優化算法：指數加權平均、動量梯度下降法、RMSprop、Adam優化算法

本博客暫時只做自己的學習筆記，所以部分細節並不會展開，如果有看官對這部分內容感興趣，還請移步去看吳恩達的教學視頻，這裏奉上鍊接：改善深層神經網絡    一、 首先介紹指數加權平均方法，對於一系列輸入數據,該方法實際上是通過對當前數據和前若干個數據進行加權平均得到一系列新的較爲平滑的數據，計算方法如下： 得到如下圖所示     其中藍色的點是輸入數據，紅色點是加權平均後的數據。不過在實際計算過程中，

>>阅读原文<<