Batch Normalization原理總結

Batch Normalization 是Google於2015年提出的一種歸一化方法。 BN帶來以下優點： 加速訓練過程； 可以使用較大的學習率； 允許在深層網絡中使用sigmoid這種易導致梯度消失的激活函數； 具有輕微地正則化效果，以此可以降低dropout的使用。 ICS(Internal Covariate Shift) 我們知道在網絡訓練過程中，隨着上一層參數的改變，下一層輸入的分佈也

>>阅读原文<<