常見的優化方法總結（GD,SGD,SAG,SVRG,BFGS）

機器學習中經常使用的優化方法.................MARK.....................持續更新html 寫在最前面：這篇文章是全部常見優化方法的一個總結，所以你看起來可能會很亂，我已經把一些比較好的文章都在每部分提出（紅色連接），讀者能夠先參考一下這些文章再來看本文。參考文章寫的都很清晰。算法 梯度降低法：機器學習 1.隨機梯度降低法（每次只選取一個樣原本代替當前的梯度值

>>阅读原文<<