深度學習之優化算法

前言           以下內容是個人學習之後的感悟，轉載請註明出處~     Mini-batch梯度下降法 　　見另一篇文章：梯度下降法。   指數加權平均 　　其原理如下圖所示，以每天的溫度爲例，每天的溫度加權平均值等於β乘以前一天的溫度加權平均值，再加上（1-β）乘以 當天溫度的和。β值得選取對溫度加權平均值的影響非常明顯，圖中的紅黃綠三條曲線即β取不同值時的曲線。           

>>阅读原文<<