《共軛梯度法》讀書筆記（二）——共軛方向法

最速下降法的缺陷 上一節中已經提到了最速下降法容易走出「之」字形的路線，這些路線方向雖然都是梯度，但非常類似。如果每次的路線都是彼此正交的，那麼即使沒有選擇局部變化率最大的梯度，也能夠很快收斂到正解，如下圖。 共軛方向法的intuition 這就引出了共軛方向法 (Conjugate Directions)。 一種理想但無法實現的共軛梯度法 我們選擇一組正交的搜索方向，記爲 dj(j=1...n)

>>阅读原文<<