最速降低法/steepest descent，牛頓法/newton，共軛方向法/conjugate direction，共軛梯度法/conjugate gradient 及其餘

在最優化的領域中，這「法」那「法」無窮多，並且還「長得像」——名字類似的多，有時讓人以爲很迷惑。算法 在自變量爲一維的狀況下，也就是自變量能夠視爲一個標量，此時，一個實數就能夠表明它了，這個時候，若是要改變自變量的值，則其要麼減少，要麼增長，也就是「非左即右「，因此，說到「自變量在某個方向上移動」這個概念的時候，它並非十分明顯；而在自變量爲n（n≥2）維的狀況下，這個概念就有用了起來：假設自變量X

>>阅读原文<<