深度學習筆記(2)：2.6 momentum | 2.7 RMSprop | 2.8 Adam

        今天要介紹三種優化算法，momentum，RMSprop和Adam。很多人提出了很多優化算法，但隨着越來越多的優化算法提出，大家開始質疑優化算法的效果，因爲畢竟有一些優化算法只在小部分上有效果，對於各種各樣的神經網絡適用範圍並不是那麼廣泛，但是今天介紹的這三種優化算法在大多數的神經網絡上都奏效，被大家廣泛使用並認爲有很好效果。 2.6 momentum 這一節講動量梯度下降法(gr

>>阅读原文<<