Batch Normalization

多次面試的面試題會問到這個概念，整理一下。 文章有的整理於csdn博客，有的知乎，有的自己理解，若有侵權，告知，刪即可。 通俗一點講：簡稱BN，即批規範化。 BN的使用位置是在每一層輸出的激活函數之前。 通過一定的規範化手段，把每層神經網絡中任意神經元的輸入值的分佈強行拉回到接近均值爲0方差爲1的標準正太分佈 。使得激活輸入值落在非線性函數對輸入比較敏感的區域， 這樣輸入的小變化就會導致損失函數較

>>阅读原文<<