梯度降低（GD）算法
梯度的本意是一個向量，表示某一函數在該點處的方向導數沿着該方向取得最大值，導數對應的是變化率函數
即函數在該點處沿着該方向變化最快，變化率最大（爲該梯度的模）學習
隨機梯度降低（SGD）：每次迭代隨機使用一組樣本spa
針對BGD算法訓練速度過慢的缺點，提出了SGD算法，普通的BGD算法是每次迭代把全部樣本都過一遍，每訓練一組樣本就把梯度更新一次。而SGD算法是從樣本中隨機抽出一組，訓練後按梯度更新一次，而後再抽取一組，再更新一次，在樣本量及其大的狀況下，可能不用訓練完全部的樣本就能夠得到一個損失值在可接受範圍以內的模型了。.net
批量隨即降低（BGD）：每次迭代使用全部樣本blog
在深度學習中 數據量很是大時，使用全部樣本耗費時將會很長get
資料1深度學習