機器學習中常用的優化方法

寫在前面 在看斯坦福的次cs231n課程，裏面提到一些機器學習的基礎知識，比如損失函數，優化算法，正則化形式等等。然後有一些知識也都記不起來了，索性就在博客上再回顧一遍順便記錄下來日後方便查閱。今天就先整理機器學習算法中常用的幾種優化損失函數的優化方法，主要有： 梯度下降法、 牛頓法和擬牛頓法、 共軛梯度法、 啓發式優化方法以及解決約束優化問題的拉格朗日乘數法。 1. 梯度下降法（Gradient

>>阅读原文<<