改善深層神經網絡(吳恩達)_優化算法

本篇主要會談到：mini-batch梯度下降、指數加權平均、動量梯度下降、RMSprop、Adam優化、學習率衰減 mini-batch梯度下降： 在前面學習向量化時，知道了可以將訓練樣本橫向堆疊，形成一個輸入矩陣和對應的輸出矩陣： X=[x(1),x(2),x(3)...x(m)] X = [ x ( 1 ) , x ( 2 ) , x ( 3 ) . . . x ( m ) ] Y=[y(1)

>>阅读原文<<