機器學習優化算法總覽

目錄 機器學習要求解的數學模型 最優化算法的分類 費馬定理 拉格朗日乘數法 KKT條件 數值優化算法 梯度下降法 動量項 AdaGrad算法 RMSProp算法 AdaDelta算法 Adam算法 隨機梯度下降法 牛頓法 擬牛頓法 可信域牛頓法 分治法 座標下降法 SMO算法 分階段優化 動態規劃算法   對於幾乎所有機器學習算法，無論是有監督學習、無監督學習，還是強化學習，最後一般都歸結爲求解最

>>阅读原文<<