lec6 訓練神經網絡2

參數的更新： 詳見 http://blog.csdn.net/fffupeng/article/details/72771325 SGD：（沿着梯度負方向更新參數） 在上圖中x方向的長度遠大於其他方向，損失函數在水平方向上比較淺，在垂直方向上比較深。如上圖，很明顯下降的速度比較慢。 Momentum update： 動量更新不僅考慮了當前的動量-learning_rate*dx，還考慮了之前的動量

>>阅读原文<<