優化方法總結：SGD，Momentum，AdaGrad，RMSProp，Adam

轉載自： https://blog.csdn.net/u010089444/article/details/76725843 1. SGD Batch Gradient Descent 在每一輪的訓練過程中，Batch Gradient Descent算法用整個訓練集的數據計算cost fuction的梯度，並用該梯度對模型參數進行更新：   Θ=Θ−α⋅▽ΘJ(Θ)Θ=Θ−α⋅▽ΘJ(Θ)  

>>阅读原文<<