【轉】深度學習最全優化方法總結比較（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）

原文來自：https://zhuanlan.zhihu.com/p/22252270  前言 　　（標題不能再中二了）本文僅對一些常見的優化方法進行直觀介紹和簡單的比較，各種優化方法的詳細內容及公式只好去認真啃論文了，在此我就不贅述了。 SGD 　　此處的SGD指mini-batch gradient descent，關於batch gradient descent, stochastic gra

>>阅读原文<<