什麼狀況下用標準梯度降低法，什麼狀況下用隨機梯度降低法

       若是僅從測試偏差出發，標準梯度降低的效果會比隨機梯度降低要好。可是標準梯度降低的訓練時間會比隨機梯度降低要長。像線性迴歸這種簡單的模型，訓練時間的優先級不高，因此用標準梯度降低會比隨機梯度降低要好。像神經網絡這種複雜的模型，訓練時間的優先級比較高，因此用隨機梯度降低比較好。若是模型的損失函數是凸函數，那麼使用標準梯度降低必定能達到全局最優。若是模型比較複雜，容易進入局部最優，那麼使用

>>阅读原文<<