神經網絡訓練的一些建議（優化算法）

mini-batch梯度下降法 相信有一定深度學習常識的人都知道梯度下降 使用batch梯度下降法時，每次迭代你都需要歷遍整個訓練集，可以預期每次迭代成本都會下降，所以如果成本函數J是迭代次數的一個函數，它應該會隨着每次迭代而減少，如果J在某次迭代中增加了，那肯定出了問題，也許你的學習率太大。 使用mini-batch梯度下降法，如果你作出成本函數在整個過程中的圖，則並不是每次迭代都是下降的，如果

>>阅读原文<<