25-隨機梯度下降法

隨機梯度下降法 1. 概念   我們之前學習的梯度下降法一直是要我們最優化的那個損失函數相應在某一點的 θ θ θ 那個梯度值準確的求出來。   那麼通過推導的這個公式可以看出來，要想求出這個準確的梯度來，在這個式子中每一項都要對所有的樣本（ m m m 個）進行一下計算，前面是有一個求和計算的，那麼這樣的一個下降法通常又叫做批量梯度下降法（Batch Gradient Descent）。也就是說

>>阅读原文<<