Batch Normalization推導過程

一、BN簡介 Batch Normalization可謂深度學習的一大利器，可以大大提高訓練速度，並帶有正則化的效果。其能加速訓練的原因是因爲消除了每層輸出結果中的特徵偏移，例如我們在訓練一個貓的檢測器，如果當前batch中的貓均爲白色，那麼可能會導致訓練過程中某一層的權重分佈傾向於「顏色爲白色」。然而貓有各種顏色，如果網絡只拘泥於白色，會大大降低了訓練速度。因此，對Batch Normaliza

>>阅读原文<<