深度學習中的優化算法

寫在前面   深度學習在很多情況下都涉及優化。   尋找神經網絡上的一組參數 θ θ ，它能顯著地降低代價函數 J(θ) J ( θ ) ，該代價函數通常包括整個訓練集上的性能評估和額外的正則化項。   機器學習是一個高度依賴經驗的過程，伴隨着大量迭代的過程，你需要訓練諸多模型，才能找到合適的那一個，所以，優化算法能夠幫助你快速訓練模型。   深度學習沒有在大數據領域發揮最大的效果，我們可以利用一

>>阅读原文<<