神經網絡訓練細節（二）

1、神經網絡優化  SGD的問題 隨機梯度降低多是在機器學習和深度學習中應用最爲普遍的優化算法，但其有時學習會很是慢，特別是當梯度在水平和豎直方向上不均衡時，以下圖所示：算法 在豎直方向上，梯度降低很快，而在水平方向上，梯度降低比較慢。這樣，當採用隨機梯度降低時，它會在豎直方向上降低的快而在水平方向上收斂的慢，這樣優化路線就會如上如所示在窄軸上來回震盪。網絡 動量 由於隨機梯度降低算法所存在的問題

>>阅读原文<<