深度學習之優化算法

在⼀個深度學習問題中，通常我們會預先定義⼀個損失函數。有了損失函數，就可以使⽤優化算法試圖使其最小化。在優化中，這樣的損失函數通常被稱作優化問題的⽬標函數（objectivefunction）。依據慣例，優化算法通常只考慮最小化⽬標函數。因爲任何最⼤化問題都可以很容易地轉化爲最小化問題：只需把⽬標函數前⾯的正號或負號取相反。 在深度學習問題中，由於優化算法的⽬標函數通常是⼀個基於訓練數據集的損失函

>>阅读原文<<