隨機梯度降低及其變種的綜述

  隨機梯度算法做爲重要的一階優化算法，每次採用小部分樣本進行梯度的更新，迭代速度比較快。在隨機梯度算法的基礎上，爲了選擇合適的學習率，出現動量法與自適應學習率算法。爲了更好的學習稀疏特徵，隨機梯度降低算法融合RDA以及FOBOS造成FTRL算法。因爲隨機梯度降低算法每次採用部分樣本進行梯度計算，引入較大的方差，所以提出減小方差的隨機梯度算法svrg以及sag算法。本文將從隨機梯度降低算法開始，並

>>阅读原文<<