吳立德《數值優化》（Numerical Optimization）視頻學習筆記（三）

三．線搜索方法 1.方法概述 選一個方向，然後確定一個步長。方向以梯度方向作爲標準來衡量。 （1）最速下降方向（負梯度方向）。 （2）牛頓方向（標準二次函數可以一次到位）。 （3）擬牛頓方向（怎麼選擇Bk，方法比較多）。 （4）共軛梯度方向。 （5）下降方向：選定下降方向後，只與步長有關，變成一個一元函數，此函數在零點的導數一定是小於0的，這樣纔是一個下降的方向（也就是看一開始的瞬間是不是下降的）

>>阅读原文<<