參考來源:https://blog.csdn.net/yhao2014/article/details/51554910函數
梯度降低法(gradient descent),又名最速降低法(steepest descent)是求解無約束最優化問題最經常使用的方法,它是一種迭代方法,每一步主要的操做是求解目標函數的梯度向量,將當前位置的負梯度方向做爲搜索方向(由於在該方向上目標函數降低最快,這也是最速降低法名稱的由來)。梯度降低法特色:越接近目標值,步長越小,降低速度越慢。優化