優化算法：梯度下降算法BGD、隨機梯度下降法SGD、小批量梯度下降MBGD、動量法、AdaGrad、RMSProp。避免過擬合/加速訓練：Dropout、Batch Normalization

日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度學習實戰（不定時更新）   3. 常見的優化算法介紹 3.1 梯度下降算法（batch gradient descent BGD） 每次迭代都需要把所有樣本都送入，這樣的好處是每次迭代都顧及了全部的樣本，做的是全局最優化,但是有可能達到局部最優。 3.2 隨機梯度下降法 (Stocha

>>阅读原文<<