梯度下降法 Gradient Descent

梯度下降法求解最小值過程概述： 在一個可微的光滑曲面上隨機選取一個點，然後通過不斷的迭代計算，使這個點移動的每一步都向着梯度方向(即下降最快的方向)，最終到達局部極小值點，之後通過多次隨機取點進行同樣的計算，即可找出最小值點。 那麼我們爲什麼不直接求解最小值點，而是通過迭代的方法一步一步來求解呢？ 實際上機器學習所要求的非線性方程一般很難求得數值解，而且在實際應用中也沒有必要求得精確的數值解，往往

>>阅读原文<<