深度學習中的優化問題

文章目錄 1、優化問題簡介及挑戰 一、優化問題簡介 二、優化問題中的兩個挑戰 (a)、局部最小值 (b)、鞍點 2、各類參數優化算法 一、Mini-batch SGD + LR Decay 二、Adagrad 三、Adadelta 四、RMSProp 五、Momentum（動量法） 六、Adam 3、優化算法總結 4、參考資料 1、優化問題簡介及挑戰 一、優化問題簡介 絕大多數深度學習中的目標函數

>>阅读原文<<