一文搞懂深度學習中經常使用的優化算法

在訓練神經網絡模型的時候須要使用到優化算法，最終咱們都是經過求解代價函數的最優化問題來求解模型的參數。有的時候，訓練一個神經網絡模型可能須要幾百上千臺機器同時訓練幾個月，經過使用優化算法能夠節省訓練的時間加快模型的收斂。本篇文章主要介紹一下經常使用的優化算法html 梯度降低算法 指數加權平均算法 動量梯度降低 RMSprop算法 Adam優化算法 經常使用的優化算法在面試的時候也會常常被問到。w

>>阅读原文<<