凸優化第九章無約束優化 9.3梯度下降方法

9.3梯度下降方法 梯度下降方法 例子 梯度下降方法 用負梯度做搜索方向，即令，這種下降方法稱爲梯度下降方法： 給定初始點 重複進行 直線搜索：通過精確或回溯直線搜索方法確定步長t 修改： 直到滿足停止條件 停止準則通常取爲：，其中是小正數。一般情況下步驟１１完成後就檢驗停止條件而不是在修改後才檢驗。 例子 空間的二次問題 考慮上的二次目標函數：，顯然最優點是。f的海瑟矩陣是常熟，其特徵值是１和，

>>阅读原文<<