深度學習中的隨機梯度降低(SGD)簡介

        隨機梯度降低(Stochastic Gradient Descent, SGD)是梯度降低算法的一個擴展。git         機器學習中反覆出現的一個問題是好的泛化須要大的訓練集，但大的訓練集的計算代價也更大。機器學習算法中的代價函數一般能夠分解成每一個樣本的代價函數的總和。隨着訓練集規模增加爲數十億的樣本，計算一步梯度也會消耗至關成的時間。github         隨機梯

>>阅读原文<<