深度學習總結(五)——各優化算法

一、各優化算法簡介 1. 批量梯度下降（Batch gradient descent，BGD） θ=θ−η⋅∇θJ(θ) 每迭代一步，都要用到訓練集所有的數據。 2. 隨機梯度下降（Stochastic Gradient Descent，SGD） θ=θ−η⋅∇θJ(θ;x(i);y(i)) 通過每個樣本來迭代更新一次，以損失很小的一部分精確度和增加一定數量的迭代次數爲代價，換取了總體的優化效率的

>>阅读原文<<