牛頓法和擬牛頓法 -- BFGS, L-BFGS, OWL-QN

數據、特徵和數值優化算法是機器學習的核心，而牛頓法及其改良（擬牛頓法）是機器最常用的一類數字優化算法，今天就從牛頓法開始，介紹幾個擬牛頓法算法。本博文只介紹算法的思想，具體的數學推導過程不做介紹。 1. 牛頓法 牛頓法的核心思想是」利用函數在當前點的一階導數，以及二階導數，尋找搜尋方向「（回想一下更簡單的梯度下降法，她只用了當前點一階導數信息決定搜索方向）。 牛頓法的迭代公式是（稍微有修改，最原始

>>阅读原文<<