最優化方法系列：SGD、Adam

整理一下資源，不過最好仍是根據書上的理論好好推導一下.....

文章連接：Deep Learning 最優化方法之SGD 72615436

本文是Deep Learning 之 最優化方法系列文章

 

 整個優化系列文章列表：

Deep Learning 之 最優化方法

Deep Learning 最優化方法之SGD

Deep Learning 最優化方法之Momentum（動量）

Deep Learning 最優化方法之Nesterov(牛頓動量)

Deep Learning 最優化方法之AdaGrad

Deep Learning 最優化方法之RMSProp

Deep Learning 最優化方法之Adam

在SVM裏面已經講習過SGD方法，這裏重寫一遍.....