機器學習中梯度下降的幾種方式

批量梯度下降 定義：批量梯度下降的一次訓練喂入訓練集中的所有數據，使用所有數據來更新權重，也就是batch_size=訓練集大小 算法 3. 特點 求和中的運算都是向量運算 參數的更新需要計算所有數據的平均值之後才能進行更新，更新緩慢，時間複雜度是O(n)，但是下降路徑十分平滑 隨機梯度下降 定義：每次進行參數更新的時候僅僅使用數據集中的一個數據，也即batch_size = 1 算法 特點 更新

>>阅读原文<<