機器學習中的優化算法

優化算法 1、梯度下降法　　 梯度下降法可以說是機器學習中最常用的算法，當然在深度學習中也會使用。不過一般使用的都是梯度下降法的變體—小批量梯度下降法，因爲在樣本較大時使用全樣本進行梯度下降時需要計算的梯度太多，導致計算量會非常大。梯度下降法是一種迭代算法，選取合適的初值$x^{(0)}$，不斷的迭代更新$x$的值，進行目標函數$f(x) $的極小化，直至目標函數收斂。由於負梯度方向是使得函數值下

>>阅读原文<<