機器學習中的優化算法總結

1 梯度下降算法理論分析 1.1 相關介紹 1.1.1 批量梯度下降 1.1.2 隨機梯度下降 1.1.2 小批量隨機梯度下降 1.2 迭代步的推導 2 梯度算法實現 2.1 基本算法 2.1.1 隨機梯度下降 2.1.2 動量 2.1.3 Nesterov動量 2.2 自適應學習率算法 2.2.1 AdaGrad 2.2.2 RMSProp 2.2.3 AdaDelta 2.2.4 Adam 2

>>阅读原文<<