小常識27：Batch Normalization 的原理與作用

小常識27：Batch Normalization 的原理與作用 （阿里達摩一面基礎題——機器學習2019屆內推） 1、Batch Normalization的本質思想 BN的基本思想其實相當直觀：因爲深層神經網絡在做非線性變換前的激活輸入值（Y=Wx+B，x是輸入）隨着網絡深度加深或者在訓練過程中，其分佈逐漸發生偏移或者變動，之所以訓練收斂慢，一般是整體分佈逐漸往非線性函數的取值區間的上下限兩端

>>阅读原文<<