主流優化器 Optimizer 詳解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）

商湯實習面試被爆出翔T_T，一問三不知，也讓我找到了不少本身的不足...不得不說...如今的水平實在是...太垃圾了...趕忙來學習一下...?html 在機器學習、深度學習中使用的優化算法除了常見的梯度降低，還有 Adadelta，Adagrad，RMSProp 等幾種優化器，都是什麼呢，又該怎麼選擇呢？面試 在 Sebastian Ruder 的這篇論文中給出了經常使用優化器的比較，今天來學習

>>阅读原文<<