Tensorflow 優化器 optimizer

Tensorflow 的可用 optimizer 從下面的圖片可以看出tensorflow提供的幾種優化器。 下圖是不同優化算法的損失曲面和時間演化的輪廓。 從上圖看 SGD 並不是最快速的訓練方法, 紅色的線是 SGD, 但它到達學習目標的時間是在這些方法中最長的一種. 我們還有很多其他的途徑來加速訓練. 下圖優化可視化，其中沿着不同維度的曲率具有不同的符號（一維向上和向下彎曲）。 請注意，SG

>>阅读原文<<