深度學習中常用的優化算法

機器學習幾乎所有的算法都要利用損失函數 lossfunction 來檢驗算法模型的優劣，同時利用損失函數來提升算法模型。而這個提升的過程就叫做優化(Optimizer)。 下面的內容就是記錄一下在深度學習中常用到的幾種優化算法，以備日後查詢。 1、SGD、BGD、Mini-BGD 把這三個放到一起是因爲其有很多共性，接下來就來一一介紹： 1、SGD(隨機梯度下降) SGD(stochastic g

>>阅读原文<<