一文看懂常用的梯度下降算法

  概述   梯度下降算法（Gradient Descent Optimization）是神經網絡模型訓練最常用的優化算法。對於深度學習模型，基本都是採用梯度下降算法來進行優化訓練的。梯度下降算法背後的原理：目標函數關於參數的梯度將是目標函數上升最快的方向。對於最小化優化問題，只需要將參數沿着梯度相反的方向前進一個步長，就可以實現目標函數的下降。這個步長又稱爲學習速率。參數更新公式如下：   其中

>>阅读原文<<