神經網絡模型的各類優化算法

1.批量梯度降低算法(Batch Gradient Descent) 思想：基於整個訓練集的損失迭代更新梯度。python 優勢：git      1. 因爲梯度更新考慮的是全局的損失，因此不會陷入局部最優；github 缺點：算法      1. 因爲計算的是整個訓練集的損失，因此每次迭代的計算量較大，佔用內存大；segmentfault 公式理解：網絡 更新參數向使得損失減少的方向變化。函數

>>阅读原文<<