【深度學習】優化算法

本文爲深度學習的學習總結，講解神經網絡中的優化算法。歡迎交流 Mini-batch 梯度下降法 批量梯度下降：每次更新所有樣本，每輪對於 θ \theta θ 的更新，所有樣本都有貢獻，計算得到的是標準梯度，對於凸問題，肯定能找到全局最優解。但每次更新幅度較大，樣本很多時耗時太久。下面是更新公式： 隨機梯度下降：每次更新時用 1 個樣本，用 1 個樣本來近似所有樣本來調整 θ \theta θ，計

>>阅读原文<<