隨機梯度下降及其變種的綜述

  隨機梯度算法作爲重要的一階優化算法，每次採用小部分樣本進行梯度的更新，迭代速度比較快。在隨機梯度算法的基礎上，爲了選擇合適的學習率，出現動量法與自適應學習率算法。爲了更好的學習稀疏特徵，隨機梯度下降算法融合RDA以及FOBOS形成FTRL算法。由於隨機梯度下降算法每次採用部分樣本進行梯度計算，引入較大的方差，因此提出減少方差的隨機梯度算法svrg以及sag算法。本文將從隨機梯度下降算法開始，並

>>阅读原文<<