梯度下降總結

梯度下降是我們在訓練神經網絡時用於訓練參數的方法，本文總結了目前常用的幾種梯度下降算法，包括原理、公式推導、解決的問題，主要要SGD、Momentum、NAG、AdaGrad、AdaDelta、RMSProp、Adam，先貼上手寫的筆記，有時間再翻譯過來。 幾種算法的可視化結果如下，閱讀完後邊的筆記後可以返回來看助於理解， 筆記：

>>阅读原文<<