《最優化導論》-8梯度方法

1.梯度迭代 a>0時，負梯度方向，是函數值下降方向 1.1梯度下降法 當接近極小值時，梯度接近0，通用形式如下，有一些具體實現： 1）最速下降法 梯度下降的一種具體實現，理念是在每次迭代時，選擇最佳合適的步長ak,使得目標函數值最大程度的減少。 流程：初始迭代點出發，沿負梯度方向開展前面說的一維搜索，找到最優步長a，從而確定新的迭代出發點，不斷這樣，直至收斂（實際小於某些閥值即可）。 可以發現，

>>阅读原文<<