【機器學習課程-華盛頓大學】：3 分類 3.7 大數據集縮放以及在線學習

1、梯度和隨機梯度 （1）隨機梯度運行速度更快，收斂更快，但是對參數更敏感。   （2）爲什麼隨機梯度下降會起作用？ 隨機梯度下降每次只選一個數據點計算梯度，並修改w。其實就是相當於，很多歌小步累積成大步。   （3）收斂 梯度下降比較平滑，隨機梯度下降有更多噪聲   （4）隨機梯度應用場景：先將數據隨機化   （5）步長的選擇 步長太小，隨機梯度很難收斂；步長太大，隨機梯度震盪；   2、隨機梯

>>阅读原文<<