梯度降低法的推導

梯度降低法是一個一階最優化算法，一般也稱爲最陡降低法，要使用梯度降低法找到一個函數的局部極小值，必須向函數上當前點對應梯度的反方向的規定步長距離點進行迭代搜索。若是相反地向梯度正方向迭代進行搜索，則會接近函數的局部極大值點；這個過程則被稱爲梯度上升法。python 介紹梯度降低法以前首先先介紹一下梯度。梯度的本意是一個向量（矢量），表示某一函數在該點處的方向導數沿着該方向取得最大值，即函數在該點處

>>阅读原文<<