機器學習（優化算法一）——梯度降低

對於機器學習，常常說起的就是批量梯度降低、隨機梯度降低，以及二者結合的小批量梯度降低。在深度學習中，經常使用的還有梯度降低的一些變種，像Adam、AdaGrad……這裏只說最基本的三種。html 簡要過程 像普通線性迴歸、Ridge迴歸，經過求導，也就是最小二乘法就能夠求解，但Lasso不能夠，Lasso一般採用的是座標軸降低法。除了最小二乘法，還有另一種方法，也是最經常使用的：梯度降低法。 好比

>>阅读原文<<