深入理解Batch Normalization原理與作用

1.爲什麼需要Normalization 深度學習網絡模型訓練困難的原因是，cnn包含很多隱含層，每層參數都會隨着訓練而改變優化，所以隱層的輸入分佈總會變化，每個隱層都會面臨covariate shift的問題。 internal covariate shift（ICS）使得每層輸入不再是獨立同分布。這就造成，上一層數據需要適應新的輸入分佈，數據輸入激活函數時，會落入飽和區，使得學習效率過低，甚至

>>阅读原文<<