BN層原理及作用

BN：batchnorm 批量標準化。 解決的問題：輸入的數據都具有不同的分佈，會給下層網絡的訓練帶來困難。 計算方法： 1.先求出此次批量數據x的均值 2.求出此次批量的方差 3.接下來就是對本次批量的x做歸一化：xi-E(x)/(根號下批量方差-極小值（eps）)防止分母爲0. 4.最後最重要，引入縮放和平移變量γ和β 如果γ和β分別等於此batch的方差和均值，那麼yi就還原到了歸一化前的x

>>阅读原文<<