專題（一）優化算法

專題（一）優化算法 1.梯度下降 1.1 隨機梯度下降 1.2 小批量隨機梯度下降 1.2.1 小批量 SGD 的更新過程 1.2.2 「批」的大小對優化效果的影響 1.2.3 隨機梯度下降存在的問題 1.2.4 隨機梯度下降的改進方向 2. 動量（Momentum）算法 2.1 帶動量的 SGD 2.1.1 參數更新公式 2.1.2 動量算法描述 2.2 NAG 算法（Nesterov 動量）

>>阅读原文<<