BN的好處、正則化（7）

魚書記錄7： 1. Batch Normalization 的算法好處 可以使學習快速進行（可以增大學習率）。 不那麼依賴初始值（對於初始值不用那麼神經質）。 抑制過擬合（降低Dropout等的必要性）。 綜上，通過使用Batch Norm，可以推動學習的進行。並且，對權重初始值變得健壯（「對初始值健壯」表示不那麼依賴初始值）。 2.正則化 2.1.權值衰減 L1和L2範數： 2.2.Dropou

>>阅读原文<<