梯度下降法

一、梯度下降法（Gradient Descent） 在求解機器學習算法的模型參數，即無約束優化問題時，梯度下降（Gradient Descent）是最常採用的方法之一。梯度下降法是一個最優化算法，通俗的來講就是沿着梯度下降的方向迭代求解某個函數的最小值。 梯度：在微積分裏面，對多元函數的參數求∂偏導數，把求得的各個參數的偏導數以向量的形式寫出來，就是梯度。從幾何意義上講，梯度就是函數變化增加最快的

>>阅读原文<<