參數優化方法(梯度下降、牛頓法、擬牛頓法)

1 分類 梯度法,共軛梯度法,牛頓法,擬牛頓法,蒙特卡洛法、Steepest Descent(SD)、L-BFGS等參數優化方法。 參數優化目標 在機器學習中,在定義好損失函數好,希望通過參數優化,使得損失函數最小。 2 梯度下降法(最速下降法) 沿着梯度向量的方向,更加容易找到函數的最大值。反過來說,沿着梯度向量相反的方向(去負號),則就是更加容易找到函數的最小值。 批量梯度下降法(Batch
相關文章
相關標籤/搜索