關於最優化中的若干問題

    1.最速降低法（也叫梯度降低法）

　　負梯度方向、一維搜索步長、上一次的搜索方向和下一次的方向是正交的，因此會產生鋸齒現像，所以影響了收斂的速度，特別是當x接近於收斂點的時候。

    2.牛頓法

　　採用Hesse矩陣和梯度來迭代x，從而產生一系列x點。要求Hesse矩陣非奇異並且正定，若是不是，則沒法保證目標函數值降低和收斂到極小點。若是收斂則爲2級收斂，收斂速度較快。

    3.阻尼牛頓法

　　阻尼牛頓法，加入一維搜索步長，經過最小化函數值，可以使得迭代目標函數通常有所降低。

    4.擬牛頓法

     上面的方法沒法保證Hesse矩陣正定，所以擬牛頓法，經過構造Gk正定矩陣，保證Hesse矩陣正定，再做一維搜索，所以必定能夠保證函數值降低和收斂。