梯度下降法確定步長

梯度下降法確定步長 BY:YANG LIU 採用Line search確定步長，Line search的本質目的其實也是爲了保證函數值下降(或稱作不增)。 基本思想就是每次試一個步長，如果用該步長走的話，看函數值會不會比當前點下降一定的程度，如果沒有，就按比例減小步長，再試，直到滿足條件（根據泰勒展開式我們知道步長足夠小時總會滿足下降條件）。 所以line search實際上是計算量比較大的。 可

>>阅读原文<<