L-BFGS剖析

    機器學習中經常利用梯度下降法求最優解問題，通過大量的迭代來得到最優解，但是對於維度較多的數據，除了佔用大量的內存還會很耗時，L-BFGS算法是一種在牛頓法基礎上提出的一種求解函數根的算法，下面由簡入深儘量用簡潔的語言剖析算法的本質。 一.牛頓法     解決函數求根問題 f(x)函數在x1點的導數，是該函數在x1點的切線的斜率y/x，f(x1)=f(x1)/(x1-x2) ,x1-x3=f

>>阅读原文<<