神經網絡訓練的一些建議（優化算法）

mini-batch梯度降低法 相信有必定深度學習常識的人都知道梯度降低 web 使用batch梯度降低法時，每次迭代你都須要歷遍整個訓練集，能夠預期每次迭代成本都會降低，因此若是成本函數J是迭代次數的一個函數，它應該會隨着每次迭代而減小，若是J在某次迭代中增長了，那確定出了問題，也許你的學習率太大。算法 使用mini-batch梯度降低法，若是你做出成本函數在整個過程當中的圖，則並非每次迭代都是

>>阅读原文<<