各優化算法的優缺點整理

固定學習率的優化算法 SGD SGD在深度學習中指的是小批量梯度降低，是按照數據分佈將整體數據劃分爲多個小批量數據，而後利用小批量數據對參數進行更新。 優勢：每一步更新的計算時間不依賴於訓練樣本數目的多寡，即便訓練樣本數目很是大時，他們也能收斂。對於足夠大的數據集，SGD可能會在處理整個訓練集以前就收斂到最終測試機偏差的某個容錯範圍內。 缺點：選擇合適的learning rate比較困難，若設置過

>>阅读原文<<