無約束非線性優化經典算法學習筆記

本博客僅爲學習筆記。 梯度下降法 有函數 x(θ) ,梯度下降法的迭代公式爲: xk+1=xk−agk 其中 gk 爲 x(θ) 在x_k點的導數。 牛頓法 當x爲標量時 xk+1=xk−x′x′′ 當x爲向量時： xk+1=xk−H−1kgk 其中 H−1 爲 Hession矩陣的逆函數，g爲一階導數向量。 L-BFS 在牛頓法中，每次都需要求 H−1k , 每次求二階導數，再求逆矩陣這個計算量

>>阅读原文<<