Batch Normalization

1. What is BN? 顧名思義，batch normalization嘛，就是「批規範化」咯。Google在ICML文中描述的非常清晰，即在每次SGD時，通過mini-batch來對相應的activation做規範化操作，使得結果（輸出信號各個維度）的均值爲0，方差爲1. 而最後的「scale and shift」操作則是爲了讓因訓練所需而「刻意」加入的BN能夠有可能還原最初的輸入（即當）

>>阅读原文<<