深度學習的優化算法

Mini-batch梯度下降法 什麼是Mini-batch梯度下降法 在對整個訓練集執行梯度下降法時，我們必須處理整個訓練集，然後才能進行一步梯度下降法。然後需要再重新處理整個訓練集才能進行下一步梯度下降法。如果在處理完整個訓練集前先讓梯度下降法處理一部分，算法的速度會更快。 我們可以把訓練集分割爲小一點的子訓練集，這些子集被取名叫Mini-batch。對x的訓練集和y的訓練集都需作相應的拆分，分

>>阅读原文<<