Batch Normalization原理總結

Batch Normalization 是Google於2015年提出的一種歸一化方法。 BN帶來以下優點: 加速訓練過程; 可以使用較大的學習率; 允許在深層網絡中使用sigmoid這種易導致梯度消失的激活函數; 具有輕微地正則化效果,以此可以降低dropout的使用。 ICS(Internal Covariate Shift) 我們知道在網絡訓練過程中,隨着上一層參數的改變,下一層輸入的分佈也
相關文章
相關標籤/搜索