17批標準化（Batch Normalization ）

批標準化（Batch Normalization ）簡稱BN算法，是爲了克服神經網絡層數加深導致難以訓練而誕生的一個算法。根據ICS理論，當訓練集的樣本數據和目標樣本集分佈不一致的時候，訓練得到的模型無法很好的泛化。 而在神經網絡中，每一層的輸入在經過層內操作之後必然會導致與原來對應的輸入信號分佈不同,,並且前層神經網絡的增加會被後面的神經網絡不對的累積放大。這個問題的一個解決思路就是根據訓練樣本

>>阅读原文<<