梯度下降法(steepest descent)和共軛梯度法(conjugate gradient)

這是一篇自己的理解，不是嚴格意義上的證明，事實上很多熟悉的公式和推導方式都沒有擺上來。推導的過程和方式也沒有參考課本，這可能和個人習慣有關係，以前看別人著作時，很怕那種「顯而易見」地描述，因爲對作者而言顯而易見的地方，對讀者可能不是。對讀者顯而易見的地方，作者可能不這麼認爲。我一直的想法是，如果條件魯棒，不論你從哪個角度去推導，比如說有的人喜歡展開推導（展開的形式也因人而異），有的更喜歡用向量表達

>>阅读原文<<