Part 2 (二)優化算法

改善深層神經網絡:超參數調試、正則化以及優化 —優化算法 1. Mini-batch 梯度下降法 對整個訓練集進行梯度下降法的時候,我們必須處理整個訓練數據集,然後才能進行一步梯度下降,即每一步梯度下降法需要對整個訓練集進行一次處理,如果訓練數據集很大的時候,如有500萬或5000萬的訓練數據,處理速度就會比較慢。 但是如果每次處理訓練數據的一部分即進行梯度下降法,則我們的算法速度會執行的更快。而
相關文章
相關標籤/搜索