神經網絡中的優化算法

什麼是優化算法？ 給定一個具有參數θ的目標函數，我們想要找到一個θ使得目標函數取得最大值或最小值。優化算法就是幫助我們找到這個θ的算法。 在神經網絡中，目標函數f就是預測值與標籤的誤差，我們希望找到一個θ使得f最小。 優化算法的種類 一階優化算法 它通過計算目標函數f關於參數θ的梯度（一階偏導數）來最小化代價函數。常用的SGD、Adam、RMSProp等基於梯度的優化算法都屬於一階優化算法。 梯度

>>阅读原文<<