Batch Normalization 學習筆記

作者在文章中說應該把BN放在激活函數之前，這是因爲Wx+b具有更加一致和非稀疏的分佈。但是也有人做實驗表明放在激活函數後面效果更好。這是實驗鏈接，裏面有很多有意思的對比實驗：https://github.com/ducha-aiki/caffenet-benchmark http://blog.csdn.net/hjimce/article/details/50866313 Batch Norma

>>阅读原文<<