Batch 、weight decay、momentum、normalization和正則化的一些理解和借鑑

整理一下之前看過的內容，方便後面忘記時查詢。 談談深度學習中的 Batch_Size Batch_Size（批尺寸）是機器學習中一個重要參數，涉及諸多矛盾，下面逐一展開。 首先，爲什麼需要有 Batch_Size 這個參數？ Batch 的選擇，首先決定的是下降的方向。如果數據集比較小，完全可以採用全數據集 （Full Batch Learning ）的形式，這樣做至少有 2 個好處：其一，由全數

>>阅读原文<<