機器學習中的最優化方法（一） 無約束優化方法*

機器學習中的最優化方法（一） 無約束優化方法* 掌握常用的優化方法對機器學習算法而言是必不可少的，本文只介紹無約束問題的優化，後續會介紹有約束的情況。 主要介紹以下幾個內容： 1 優化概述 2 無約束問題的優化方法 3 梯度下降法 4 牛頓法與擬牛頓法 5 梯度下降法與牛頓法的區別與聯繫 1.優化概述 設函數f是定義在 R n R^n Rn上的實值函數，最優化問題的數學模型如下 min f(x)

>>阅读原文<<