機器學習總結（四）——最優化方法

機器學習中所謂的訓練其實就是損失函數的優化過程，求損失函數的最優化解，主要是得靠一些常規套路，去一點一點地接近最優化目標。 常用的有梯度下降法、牛頓法和擬牛頓法、共軛梯度法、啓發式優化方法、拉格朗日乘數法等。 一、梯度下降法（Gradient Descent）        梯度下降法實現的原理簡單，是最常用最簡單的最優化方法。當目標函數是凸函數時（如線性規劃），得到的是全局最優解。但是在一般情況

>>阅读原文<<