優化方法總結：SGD，Momentum，AdaGrad，RMSProp，Adam

原文https://blog.csdn.net/u010089444/article/details/76725843 1. SGD Batch Gradient Descent 在每一輪的訓練過程中，Batch Gradient Descent算法用整個訓練集的數據計算cost fuction的梯度，並用該梯度對模型參數進行更新：                              Θ=Θ

>>阅读原文<<