batch normalization 爲什麼有效？

  4.1 Normalization 的權重伸縮不變性   從兩方面來看， 1、權重伸縮不變性可以有效地提高反向傳播的效率。       主要體現在對x求導。 2.權重伸縮不變性還具有參數正則化的效果，可以使用更高的學習率。      主要體現在對w求導。     意思是，如果某一次更新使得w變得很大，則lambada係數一定很大，那麼梯度就減小了。在一定程度上體現了參數正則化，     不讓參

>>阅读原文<<