[DL]優化算法

1、優化算法：咱們知道，通過網絡層的計算後，計算結果可能距離真值很遠，此時，咱們須要經過優化算法來不斷調整計算值，使其最終的計算結果——預測值，與真值中的差別儘可能小。

2、優化算法舉例：

一、梯度降低：

Mini-batch梯度降低：用子訓練集進行梯度降低

batch梯度降低：用整個訓練集進行梯度降低

隨機梯度降低：將一個樣本當作一個子訓練集