【吳恩達】機器學習第18章大規模機器學習

對於大規模數據的機器學習，有兩種處理辦法：一是隨機梯度下降，二是減少映射（MapReduce)。 1.隨機梯度下降 1.1隨機梯度下降針對每個樣本，更新一次參數。基本步驟是先隨機打亂樣本數據，然後再從頭開始，一個樣本一個樣本訓練參數。 1.2批量梯度下降：是對所有樣本進行一次遍歷，然後再更新一次參數。每次更新參數，都需要讀入所有的數據，開銷比較大。 1.3Mini-batch梯度下降：選取b個樣本

>>阅读原文<<