各類梯度降低法的優缺點

1、梯度法思想算法 梯度法思想的三要素：出發點、降低方向、降低步長。機器學習 機器學習中經常使用的權重更新表達式爲ide ：，這裏的λ就是學習率，本文從這個式子出發來把機器學習中的各類「梯度」降低法闡釋清楚。函數 梯度方向是學習 ，步長設爲常數Δ，這時就會發現，若是用在梯度較大的時候，離最優解比較遠，W的更新比較快；然而到了梯度較小的時候，也就是較靠近最優解的時候，W的更新居然也保持着跟原來同樣的

>>阅读原文<<