深度學習基礎（三）——優化算法

1 優化算法 1.1 局部最小值點 1.2 鞍點 2 梯度下降法和隨機梯度下降法 2.1 梯度下降法 2.1.1 一維梯度下降法 2.1.2 學習率 2.1.3 多維度梯度下降 2.2 隨機梯度下降法 2.3 小批量隨機梯度下降法 3 動量法 3.1 指數加權平均（EMA） 3.2 由指數加權移動平均理解動量法 3.2 Nesterov 4 Adagrad 5 RMSprop 6 Adadelta

>>阅读原文<<