【深度學習】：梯度下降，隨機梯度下降（SGD），和mini-batch梯度下降

一.梯度下降 梯度下降就是最簡單的用於神經網絡當中用於更新參數的用法，計算loss的公式如下：    有了loss function之後，我們立馬通過這個loss求解出梯度，並將梯度用於參數theta的更新，如下所示：    這樣做之後，我們只需要遍歷所有的樣本，就可以得到一個最終的參數theta了，這個參數可能是全局最小值，也可能不是，因爲很有可能走入了一個loss的局部最小值當中。 二.隨機梯

>>阅读原文<<