optimizer 性能對比

在線性迴歸或者監督學習中，我們會計算預測值與真實值之間的差距，也就是loss。 在計算得出loss之後，通常會使用Optimizer對所構造的數學模型/網絡模型進行參數優化， 通常情況下，優化的最終目的是使得loss趨向於最小。 下面是幾種Optimizer模型參數優化算法對比：

>>阅读原文<<