吳恩達機器學習——大規模機器學習

隨機梯度下降 批量梯度下降中，可以發現每次下降時都要加載所有的數據，當樣本數目較多時，計算速度會變得很慢。於是在這裏提出一個面向大規模數據的隨機梯度下降算法。 首先，隨機打亂數據集。 然後使用新的梯度下降算法。 在這裏我們可以看到： 在每次內部循環中，每個樣本只加載一次。對於一般的數據集內部循環將重複1-10次，而對於m極大（如3億）的數據集，一般重複一次就可以達到比較滿意的效果。 整個過程是不斷

>>阅读原文<<