什麼是梯度下降？

一、說明：梯度下降的計算過程就是沿梯度（導數或偏導數）下降的方向迭代求解極小值。 二、例子：如求函數的最小值。 利用梯度下降的方法解題步驟如下： 1、求梯度，； 2、向梯度相反的方向移動 ，令 ，其中，爲步長。如果步長足夠小，則可以保證每一次迭代都在減小，但可能導致收斂太慢，如果步長太大，則不能保證每一次迭代都減少，也不能保證收斂。 3、循環迭代步驟2，直到的值變化到使得在兩次迭代之間的差值足夠小

>>阅读原文<<