優化算法

使用優化算法可以加快神經網絡的訓練過程。 Mini-batch 使用所有訓練集進行一次梯度下降的方法叫做Batch梯度下降法。當訓練集數量非常巨大時，Batch梯度下降法就變慢了，這時可以使用Mini-batch梯度下降法，Mini-batch梯度下降法比Batch梯度下降法快。 Mini-batch梯度下降法把訓練集平均分成T個子集 {(X{1},Y{1}),(X{2},Y{2}),⋯,(X{T

>>阅读原文<<