梯度下降法 與 最速下降法 的區別

最速下降法與梯度下降法基本上是相同的，就是選擇該點梯度的反向方向進行搜索。 梯度下降法中並沒有規定步長一定是多少，往往開始人爲規定一個步長，然後根據實際情況逐漸縮小步長。 而最速下降法的步長則是在求出梯度方向後，把步長變量帶入式中，通過求取函數f()的最小值以獲取在該點步長的最佳值。 下面給出一個 最速下降法的一個例題：    

>>阅读原文<<