深度學習中常見的優化方法（from SGD to AMSGRAD）和正則化技巧

轉載自【泡泡機器人原創專欄】https://mp.weixin.qq.com/s/NmSVXezxsQOZzK8pne3pCw 一．優化方法 這裏介紹的優化方法包括:SGD,兩種帶動量的SGD,AdaGrad,RMSProp,Adadelta,Adam, AMSGRAD，基本涵蓋了常用的一些優化算法。先介紹一下優化方法，這裏需要注意一下，在深度學習當中，優化的問題是在於鞍點而不是所謂的局部最小值點

>>阅读原文<<