改善深層神經網絡第二週

2.1 mini-batch梯度下降法 小批量梯度下降法是批量梯度下降法和隨機梯度下降法的折衷，也就是對於m個樣本，我們採用x個樣子來迭代， 2.2 指數加權平均 2.3 指數加權平均的修正 2.4 Momentum梯度下降 一般梯度下降算法在縱向上比較曲折，橫向上緩慢，因此我們希望可以平滑曲線，提高橫向速度。 2.5RMSprop 2.6 Adam算法

>>阅读原文<<