3.1 梯度下降法學習——梯度下降法的原理及分析

梯度下降法： 不是一種機器學習的算法，而是一種基於搜索的最優化方法，通過當前點的梯度方向找到新的迭代點，並從當前點移動到新的迭代點繼續尋找新的迭代點直到找到最優解，作用是在最小化目標函數。如果是最大化效用函數則使用的是梯度上升法。訓練模型的本質其實就是在最小化一個損失函數，而有的模型求不到最優的數學解就需要使用梯度下降法來基於搜索找到最優解。 （一維平面中）縱座標爲損失函數，橫座標爲參數變化。最小

>>阅读原文<<