2.7 Adam

這一篇寫得特別詳細： 深度學習優化算法解析(Momentum, RMSProp, Adam) Adam（Adaptive Moment Estimation） 初始化： vdW=0,vdb=0,SdW=0,Sdb=0 v d W = 0 , v d b = 0 , S d W = 0 , S d b = 0 On iteration t: compute dW,db d W , d b using

>>阅读原文<<