batch norm

BatchNormalzation是一種解決深度神經網絡層數太多，而沒有辦法有效前向傳遞的問題，因爲每層的輸出值都會有不同的均值和方差，所以輸出數據的分佈也不一樣。 如果對於輸入的X*W本身得到的值通過tanh激活函數已經輸出爲1，在通過下一層的神經元之後結果並沒有什麼改變，因爲該值已經很大（神經網絡過敏感問題） 對於這種情況我們可以首先做一些批處理正則化 　可以看出沒有BN的時候，每層的值迅速全

>>阅读原文<<