梯度下降法與牛頓下降法推導

梯度下降法 直觀理解 當ω在曲線右半部分，導數>0，ω更新後會變小，向中間靠攏。反之，當ω在曲線左半部分，導數<0，ω更新後會變小，也向中間靠攏。 推導 方法1 泰勒展開，δ是變化量。當δ的方向與相同，最大，因此梯度方向是上升最快的。反之，沿着梯度的負方向下降最快。 方法2 同濟高數書第六版P102、P104 牛頓下降法 目的是使得。 三階泰勒展開： 求導： 化簡：

>>阅读原文<<