BN層的作用

BN層位於激活函數之前，它先對數據進行標準化，在進行縮放和平移。 標準化是防止數據達到飽和（即激活值分佈在大部分都接近0或1），這樣會使數據對激活函數不敏感。 而縮放平移是爲神經網絡學會，在標準化效果好時，儘量不抵消標準化的作用，而在標準化效果不好時，儘量去抵消一部分標準化的效果，相當於讓神經網絡學會要不要標準化，如何折中選擇。 總之，BN層就是爲了讓讓每一層的值在一個有效範圍內傳遞下去。（這跟用

>>阅读原文<<