隨機梯度下降法

在線性迴歸中使用梯度下降法每次都要更新都需要遍歷所有數據，當數據量大的時候耗時非常大。 於是提出了隨機梯度下降法，通過一個隨機選取的數據來獲取「梯度」，進行更新。 與傳統梯度下降法的不同在於，隨機梯度的步長變化方向不是固定的，如下圖所示，不一定沿着最小方向前進。 在這種情況中eta，即學習率，不能是一個固定值。因爲當隨機梯度接近最小值沒到最小值時，固定的eta可能會使最小值沒有更小反而更大了，所以

>>阅读原文<<