各種梯度下降法的優缺點

一、梯度法思想 梯度法思想的三要素：出發點、下降方向、下降步長。 機器學習中常用的權重更新表達式爲 ：，這裏的λ就是學習率，本文從這個式子出發來把機器學習中的各種「梯度」下降法闡釋清楚。 梯度方向是 ，步長設爲常數Δ，這時就會發現，如果用在梯度較大的時候，離最優解比較遠，W的更新比較快；然而到了梯度較小的時候，也就是較靠近最優解的時候，W的更新竟然也保持着跟原來一樣的速率，這樣會導致W很容易更新過

>>阅读原文<<