一文詳解梯度下降法,牛頓法,擬牛頓法

最優化是一種數學方法,它是研究在給定約束之下如何尋求某些因素,以使某一些指標達到最優的一些學科的總稱.在機器學習中,大部分的機器學習算法的本質都是建立優化模型,通過最優化方法對目標函數(損失函數)進行優化,從而訓練出最好的模型.梯度下降法,牛頓法和擬牛頓法是求解無約束最優化問題的常用方法. 梯度下降法 梯度下降法實現簡單,當目標函數爲凸函數時,梯度下降法的解是全局最優解. 梯度 梯度的定義: 函數

>>阅读原文<<