梯度下降法 Gradient descent

經常聽到梯度下降法，只知道它是用於優化求解問題。即 沿着梯度的反方向（坡度最陡的方向）進行權值更新。爲什麼局部梯度下降最快的方向就是梯度的負方向呢？ 梯度 梯度就是表示某一個函數在當前位置的導數。 爲自變量，爲關於的函數； 爲梯度 如果函數爲凸函數，那麼就可以根據梯度下降算法進行優化，求得使最小的參數；  爲當前下山的位置，爲下山移動一小步之後的位置，爲學習因子，即步長。 梯度更新公式的推導——一

>>阅读原文<<