神經網絡訓練細節（二）

一、神經網絡優化  SGD的問題 隨機梯度下降可能是在機器學習和深度學習中應用最爲廣泛的優化算法，但其有時學習會非常慢，特別是當梯度在水平和豎直方向上不均衡時，如下圖所示： 在豎直方向上，梯度下降很快，而在水平方向上，梯度下降比較慢。這樣，當採用隨機梯度下降時，它會在豎直方向上下降的快而在水平方向上收斂的慢，這樣優化路線就會如上如所示在窄軸上來回震盪。 動量 因爲隨機梯度下降算法所存在的問題，人們

>>阅读原文<<