優化算法實驗比較

最近在學習神經網絡的優化算法，發現網上有不少的算法介紹，可是卻沒有算法實現和實驗對比，因此我就用python實現了BGD，SGD，MBGD，Momentum，Nesterov，Adagrad，RMSprop等算法，另外的Adam和NAdam算法是將Momentum，Nesterov，Adagrad幾項合併起來的算法，屬於工程方面的內容，因此我就沒有實現了。html 算法原理主要參考文獻是： 總體算

>>阅读原文<<