【Deep Learning 】深度模型中的優化問題（二）Momentum（動量）

本文是Deep Learning 之 最優化方法系列文章的Momentum（動量）方法。主要參考Deep Learning 一書。 以下節選自個人深度學習筆記。 內容整合來源於網絡與個人理解。  Momentum ( 動量） 上圖中：首先，按照原來的更新方向更新一步（棕色線），然後在該位置計算梯度值（紅色線），然後用這個梯度值修正最終的更新方向（綠色線）。 上圖中描述了兩步的更新示意圖，其中藍色

>>阅读原文<<