梯度下降法、牛頓法、擬牛頓法

梯度下降法 梯度下降法的優化思想是用當前負梯度方向作爲搜索方向，因爲該方向爲當前位置的最快下降方向，所以也被稱爲「最速下降法」。最速下降法越接近目標值，步長越小，前進越慢。 批量梯度下降法 得到的是全局最優解，但是每迭代一步，都要用到訓練集所有的數據，如果訓練集的數據很大，那麼可想而知這種方法的迭代速度會相當的慢。於是出現了隨機梯度下降法 隨機梯度下降 通過每個樣本來迭代更新一次，如果樣本量很大的

>>阅读原文<<