常見的優化方法總結（GD,SGD,SAG,SVRG,BFGS）

機器學習中常用的優化方法.................MARK.....................持續更新 寫在最前面：這篇文章是所有常見優化方法的一個總結，因此你看起來可能會很亂，我已經把一些比較好的文章都在每部分提出（紅色鏈接），讀者可以先參考一下這些文章再來看本文。參考文章寫的都很清晰。 梯度下降法： 1.隨機梯度下降法（每次只選取一個樣本來代替當前的梯度值） 2.批量梯度下降法（

>>阅读原文<<