牛頓法與梯度下降法

牛頓法與梯度下降法的聯繫: 牛頓法與梯度下降法是非常相似的,只是牛頓法多乘Hessian矩陣的逆矩陣。 梯度下降法是用線性函數來近似代替目標函數,而牛頓法是用二次函數來代替目標函數,故牛頓法的收斂速度是更快的。 尤其是當函數的三階導爲0時,只需要迭代一次,即可得到最終的結果。 牛頓法的侷限: Hessian矩陣不一定可逆 當Hessian矩陣規模很大時,變量很多時,解Hessian矩陣的逆矩陣非常
相關文章
相關標籤/搜索