加速神經網絡訓練方法及不一樣Optimizer優化器性能比較

本篇博客主要介紹幾種加速神經網絡訓練的方法。python 咱們知道，在訓練樣本很是多的狀況下，若是一次性把全部的樣本送入神經網絡，每迭代一次更新網絡參數，這樣的效率是很低的。爲何？由於梯度降低法參數更新的公式通常爲：算法 若是使用批量梯度降低法（一次性使用所有樣本調整參數），那麼上式中求和那項的計算會很是耗時，由於樣本總量m是一個很大的數字。那麼由此就有了第一種加速方法：隨機梯度降低法，簡稱SGD

>>阅读原文<<