神經網絡優化算法

提高神經網絡訓練速率的方式： 1. 採用Mini-batch的方式，不要等到把所有的數據都遍歷一遍才更新權重，採用batch的方式的缺點是收斂過程會有震盪的現象的出現，這樣有時候就不得不採用比較小的learning rate來使結果收斂到比較好的結果 爲了消除Mini-batch的震盪現象，可以採用以下 2. 動量梯度下降法：合成之前的方向 3. RMSprop：在梯度變化大的地方降低更新數據的速

>>阅读原文<<