用一個表格分析對比深度學習中所有的優化器

之前對各個優化器理解的不是特別清晰，最近通過分析，列出一個表格來對比他們之間的異同點。如下：   不同優化器的可視化比較（一圖勝千言）： 1. 不同優化器的優化速度比較。SGD最慢，Adadelta最快，動量法會走一些彎路。    2. 遇到鞍點時不同優化器的反應。SGD會被困於鞍點，動量法會在鞍點耽誤較長時間。Adadelta脫離速度最快，優化也最快。Rmsprop次之。     注：後面的動畫

>>阅读原文<<