參數優化方法(梯度下降、牛頓法、擬牛頓法)

1 分類 梯度法，共軛梯度法，牛頓法，擬牛頓法，蒙特卡洛法、Steepest Descent（SD）、L-BFGS等參數優化方法。 參數優化目標 在機器學習中，在定義好損失函數好，希望通過參數優化，使得損失函數最小。 2 梯度下降法（最速下降法） 沿着梯度向量的方向，更加容易找到函數的最大值。反過來說，沿着梯度向量相反的方向（去負號），則就是更加容易找到函數的最小值。 批量梯度下降法（Batch

>>阅读原文<<