Adam：一種隨機優化算法

算法理解： Adam = Momentum（動量） + RMSProp（自適應） + bias correction（偏差修正） Momentum：歷史梯度的指數衰減平均 RMSProp：歷史梯度平方的指數衰減平均 偏差修正：解決加權平均計算中的冷啓動問題，即加權平均值的前幾個與實際值相差太遠。 一階矩估計和二階矩估計分別代表原來的動量和自適應部分。模型的梯度是一個隨機變量，一階矩表示梯度均值，二

>>阅读原文<<