深度學習基礎知識（七）--- 各種優化方法

  深度學習常用的優化方法 參考資料：《Deep Learning》、pytorch 文檔   深度學習中，優化算法的 目標函數 通常是一個基於訓練集的損失函數，優化的目標在於降低訓練誤差。 這意味着用訓練集上的 經驗分佈 代替 真實分佈。 最小化這種平均訓練誤差的訓練過程，被稱爲經驗風險最小化（empirical risk minimization） 1.Stochastic Gradient

>>阅读原文<<