什麼是梯度下降法？

張戎 ​ 數學 話題的優秀回答者 564 人贊同了該回答 梯度下降法簡單來說就是一種尋找目標函數最小化的方法。 張戎：深度學習中的優化算法 在深度學習中，經常有人會拿下面這幅圖來比較各種優化算法的性質，包括傳統的 SGD，Momentum SGD，AdaGrad，RMSProp 和 Adam 等。不過光看圖可能無法理解其中的精妙之處，本文將會從數學的基礎知識出發，初步介紹深度學習中的一些優化算法，

>>阅读原文<<