牛頓法與梯度下降法

牛頓法與梯度下降法的聯繫： 牛頓法與梯度下降法是非常相似的，只是牛頓法多乘Hessian矩陣的逆矩陣。 梯度下降法是用線性函數來近似代替目標函數，而牛頓法是用二次函數來代替目標函數，故牛頓法的收斂速度是更快的。 尤其是當函數的三階導爲0時，只需要迭代一次，即可得到最終的結果。 牛頓法的侷限： Hessian矩陣不一定可逆 當Hessian矩陣規模很大時，變量很多時，解Hessian矩陣的逆矩陣非常

>>阅读原文<<