機器學習（優化算法一）——梯度下降

對於機器學習，經常提及的就是批量梯度下降、隨機梯度下降，以及兩者結合的小批量梯度下降。在深度學習中，常用的還有梯度下降的一些變種，像Adam、AdaGrad……這裏只說最基本的三種。 簡要過程 像普通線性迴歸、Ridge迴歸，通過求導，也就是最小二乘法就可以求解，但Lasso不可以，Lasso通常採用的是座標軸下降法。除了最小二乘法，還有另外一種方法，也是最常用的：梯度下降法。 比如有一個函數 y

>>阅读原文<<