機器學習優化算法中梯度降低,牛頓法和擬牛頓法的優缺點詳細介紹

一、梯度降低法web 梯度降低法實現簡單，當目標函數是凸函數時，梯度降低法的解是全局解。通常狀況下，其解不保證是全局最優解，梯度降低法的速度也未必是最快的。算法   梯度降低法的優化思想：用當前位置負梯度方向做爲搜索方向，由於該方向爲當前位置的最快降低方向，因此也被稱爲是」最速降低法「。最速降低法越接近目標值，步長越小，前進越慢。app 缺點：機器學習 靠近極小值時收斂速度減慢，求解須要不少次的迭

>>阅读原文<<