機器學習優化算法——梯度下降法

梯度下降法是最早最簡單，也是最爲常用的最優化方法。梯度下降法實現簡單，當目標函數是凸函數時，梯度下降法的解是全局解。一般情況下，其解不保證是全局最優解，梯度下降法的速度也未必是最快的。 梯度下降法的優化思想是用當前位置負梯度方向作爲搜索方向，因爲該方向爲當前位置的最快下降方向，所以也被稱爲是」最速下降法「。最速下降法越接近目標值，步長越小，前進越慢。 在第次迭代中： 1、Batch梯度下降法 缺點

>>阅读原文<<