ECCV2020 | Unsupervised Batch Normalization

計算機視覺研究院專欄 作者：Edison_G BN的基本思想：因爲深層神經網絡在做非線性變換前的激活輸入值（就是x=WU+B，U是輸入）隨着網絡深度加深或者在訓練過程中，其分佈逐漸發生偏移或者變動，之所以訓練收斂慢，一般是整體分佈逐漸往非線性函數的取值區間的上下限兩端靠近（對於Sigmoid函數來說，意味着激活輸入值WU+B是大的負值或正值），所以這導致反向傳播時低層神經網絡的梯度消失，這是訓練深

>>阅读原文<<