無約束最優化方法

梯度下降法 牛頓法 牛頓法要求函數具有二階連續偏導數，利用了函數在極小值點處一階偏導數爲0的必要條件進行優化。 擬牛頓法 基本思想 在牛頓迭代法中，需要計算Hessian矩陣的的逆矩陣 H−1 ，這一計算比較複雜，考慮用一個n階矩陣 Gk=G(x(k)) 來近似代替 H−1k=H−1(x(k)) 。 BFGS Broyden類算法 參考資料 《統計學習方法》 附錄

>>阅读原文<<