機器學習之梯度下降

（1）批量梯度下降—最小化所有訓練樣本的損失函數（對全部訓練數據求得誤差後再對參數進行更新），使得最終求解的是全局的最優解，即求解的參數是使得風險函數最小。批梯度下降類似於在山的某一點環顧四周，計算出下降最快的方向（多維），然後踏出一步，這屬於一次迭代。批梯度下降一次迭代會更新所有theta，每次更新都是向着最陡的方向前進。 （2）隨機梯度下降—最小化每條樣本的損失函數，雖然不是每次迭代得到的損失

>>阅读原文<<