深度學習經常使用優化器介紹

    深度學習的優化算法從SGD-->SGDM-->NAG-->AdaGrad-->AdaDelta-->Adam-->Nadam這樣的發展歷程，理論知識參考這裏，下面咱們依次介紹TensorFlow中這些優化器的實現類，官方文檔。python 一、tf.train.Optimizer     優化器（optimizers）類的基類。這個類定義了在訓練模型的時候添加一個操做的API。你基本上不會

>>阅读原文<<