梯度下降，隨機梯度下降，小批量梯度下降的聯繫與區別

在深度學習中，因爲我們通常的目標是使模型的損失達到最小。而目標函數有關自變量的梯度代表了目標函數在自變量當前位置下降最快的方向，因此我們常使用梯度下降系列的優化算法來迭代參數，減小損失。 下面介紹一下梯度下降，隨機梯度下降，以及小批量梯度下降之間的聯繫與區別。 梯度下降：直接加載所有的樣本進行訓練，取每個樣本對應特徵的梯度的累積和，再除以樣本個數。作爲該次循環整個樣本對應特徵的迭代梯度。 隨機梯度

>>阅读原文<<