機器學習之-梯度下降法學習筆記

1 簡介 梯度下降法又被稱爲最速下降法(Steepest descend method)，其理論基礎是梯度的概念。 梯度與方向導數的關係爲：梯度的方向與取得最大方向導數值的方向一致，而梯度的模就是函數在該點的方向導數的最大值。 現在假設我們要求函數的最值，採用梯度下降法，如圖所示： 以一個人下山爲例。比如剛開始的初始位置是在紅色的山頂位置，那麼現在的問題是該如何達到藍色的山底呢？按照梯度下降算法的

>>阅读原文<<