[AI 筆記] Optimization參數優化

[AI 筆記] Optimization參數優化 SGD的問題 SGD + Momentum AdaGrad RMSProp Adam 總結 參考資料： CS231n SGD的問題 現在假設對2維的參數空間進行優化，如下圖： 其中最紅的地方代表最小值點，即優化目標。 對於SGD而言，就是簡單地計算梯度，然後把負梯度乘以一定的學習率後加在權重上對其更新。 按照SGD的更新策略，其從初始位置到達最優點

>>阅读原文<<