牛頓法與擬牛頓法學習筆記（一）牛頓法

機器學習算法中經常碰到非線性優化問題，如 Sparse Filtering 算法，其主要工作在於求解一個非線性極小化問題。在具體實現中，大多調用的是成熟的軟件包做支撐，其中最常用的一個算法是 L-BFGS。爲了解這個算法的數學機理，這幾天做了一些調研，現把學習過程中理解的一些東西整理出來。 目錄鏈接 (1) 牛頓法 (2) 擬牛頓條件 (3) DFP 算法 (4) BFGS 算法 (5) L-B

>>阅读原文<<