老吳--第二階段第二週--優化算法

mini-batch 指數加權平均：取每天的溫度 前一天的權重越大，曲線越往右移 當天的溫度是前幾天的權重衰減加和 指數加權平均的偏差修正 動量梯度下降方法比一般梯度下降方法都快 計算梯度的加權指數平均，並利用該梯度更新權重 加快學習曲線的橫向速度，減小縱向變化範圍 RMsprop

>>阅读原文<<