[深度學習] 牛頓法

牛頓法 牛頓法是一種二階梯度方法。與一階梯度算法相比，二階梯度方法使用了二階導數進行了優化。 具體解釋如下： 在函數上隨便找個點，做這個點的切線，求出切線的跟（切線和x軸交點） 從這個切線的跟出發，做一條垂線與函數相交，繼續方纔的工作，此時我們發現B比A點更接近跟 繼續進行上述操作，直到迭代收斂 公式： f ( x ) = f ( x 0 ) + f ( x 0 ) ′ ( x − x 0 ) +

>>阅读原文<<