大規模機器學習

大規模機器學習 一、隨機梯度下降法 二、小批量梯度下降 三、隨機梯度下降收斂 一、隨機梯度下降法 如果一定需要一個大規模的訓練集，可以嘗試使用隨機梯度下降法來代替批量梯度下降法。 在隨機梯度下降法中，定義代價函數爲一個單一訓練實例的代價： 隨機梯度下降算法爲： 1.對訓練集隨機「洗牌」 2.然後 隨機梯度下降算法在每一次計算之後就更新參數θ，不需要首先將所有的訓練集求和，在梯度下降算法還沒有完成第

>>阅读原文<<