機器學習筆記之六——梯度下降推導之BGD、SGD、MBGD

BGD（批梯度下降，又稱全量梯度下降）爲標準梯度下降套路，但是速度慢，每一次更新參數Θ都需要遍歷所有樣本。 SGD（隨機梯度下降）求速度，每一次更新參數Θ只去遍歷一個樣本。 MBGD（小批量梯度下降）取兩者中庸，每次更新Θ，取一部分樣本來遍歷。 具體解釋如下：      值得一提的是，加入正則項後，因爲L1正則項包含絕對值，不可導，所以不能使用梯度下降法，但是可以使用近端梯度下降法、座標下降法來代

>>阅读原文<<