神經網絡學習9--tensorflow的優化器optimizer

各種優化器的對比 下圖是損失曲面的輪廓 和 不同優化算法的時間演化。我們的目的是設計一個優化器讓其能夠最快達到目標值。在神經網絡中，每訓練一次代表優化算法迭代了一次，對應圖上則是點往前移動了一步，當優化器可以讓點快速到達目標值時，說明我們需要的訓練步驟最小，訓練結果越接近目標值，損失也就越小，學習效果越優秀。 下圖是Tensorflow中常見的優化器 比如： Stochastic Gradient

>>阅读原文<<