神經網絡之優化方法

1、前言     神經網絡的優化方法有很多，前面學習了神經網絡參數的初始化方法，好的初始化方法可以讓網絡訓練的更快，也可能讓網絡收斂的更好。同樣，好的優化方法同樣具有這樣的作用。注意：談論優化方法時候，並沒有修改損失函數，只是修改了網絡學習過程中參數的更新方法。     之前經常使用梯度下降法來優化網絡，今天學習了梯度下降法的幾個改進版本：Momentum、RMSprop、Adam     網絡學

>>阅读原文<<