機器學習之梯度下降法

1     梯度的定義        梯度的本意是一個向量（矢量），表示某一函數在該點處的方向導數沿着該方向取得最大值，即函數在該點處沿着該方向（此梯度的方向）變化最快，變化率最大（爲該梯度的模）。        在單變量的實值函數的情況，梯度只是導數，或者，對於一個線性函數，也就是線的斜率。  （注意：梯度是一個向量）     梯度的方向是函數f增長最快的方向，梯度的反方向是f降低最快的方向；在

>>阅读原文<<