梯度優化講解

預防過擬合常用的方法有L1、L2正則化,Dropout 正則化、Data Augmentation、Early Stopping 等。 本文將重點介紹如何使用梯度優化來使神經網絡訓練更快更有效率。 mini-Batch 梯度下降 神經網絡反向傳播的過程需要使用梯度下降算法來優化網絡參數,迭代更新。梯度下降算法做法是每次訓練都使用全部 m 個訓練樣本(稱爲 Batch)。該做法的缺點是當m很大的時候

>>阅读原文<<