【deeplearning.ai筆記第二課】2.2 優化算法（動量梯度下降，RMSprop，adam）

先上總結： 1. 指數加權平均 是一種 減少數據波動的方法。簡單來說就是每個點的值都是前幾個點和當前點的加權平均。 公式如下： beta的值越大，數據越平穩。 但是beta的值過大會使數據有一種「滯後」的感覺，如圖中的綠線。 1.1 理解 爲什麼叫「指數」加權平均呢？因爲根據公式，我們可以推導出以下的式子： 也就是說，當前點 V100 的值可以由前99個點的加權值得到，而權重是個指數函數。 1.2

>>阅读原文<<