15天共讀深度學習Day9

1.參數的更新 神經網絡學習的目的是找到使損失函數的值儘可能小的參數。這是尋找最優參數的問題，解決這個問題的過程稱爲最優化。 除了SGD（stochastic gradient descent 隨機梯度下降法）還有其他優化方法。 雖然SGD簡單，並且容易實現，但是在解決某些問題時可能沒有效率。SGD低效的根本原因是，梯度的方向沒有指向最小值的方向。爲了改正SGD的缺點，我們將用Momentum A

>>阅读原文<<