機器學習優化方案對比

知乎引用 常見的優化算法包括梯度下降法、牛頓法、Momentum、Adagrad、Adam等 SGD   是通過梯度方向和步長，直接求解目標函數的最小值時的參數。 越接近最優值時，步長應該不斷減小，否則會在最優值附近來回震盪。 SGD就是每一次迭代計算mini-batch的梯度，然後對參數進行更新，是最常見的優化方法了。即： 優點： 由於每次迭代只使用了一個樣本計算梯度，訓練速度快； 包含一定隨機

>>阅读原文<<