梯度下降的技巧和原理 |李宏毅機器學習【4】

在很多機器學習損失函數（Loss Function）最小化的計算中，梯度下降是一種適用範圍廣泛且效果穩定的方法。 梯度(Gradient):  函數對所有變量分別求偏導得到的vector，幾何意義是Loss  function等高線的法線方向。梯度方向可以簡單理解爲函數上升最快的方向，負梯度方向就是函數下降最快的方向，所以利用梯度求函數最優值的方法就稱作梯度下降法。   沿着梯度的反方向不斷迭代，

>>阅读原文<<