最速下降法

梯度下降法（英語：Gradient descent）是一個一階最優化算法，通常也稱爲最速下降法。 要使用梯度下降法找到一個函數的局部極小值，必須向函數上當前點對應梯度（或者是近似梯度）的反方向的規定步長距離點進行迭代搜索。如果相反地向梯度正方向迭代進行搜索，則會接近函數的局部極大值點；這個過程則被稱爲梯度上升法。 例子： 確定下降方向 1. 2. 爲何下降慢 收斂定理 還沒搞懂。。。。 向量在矩陣

>>阅读原文<<