How Does Batch Normalization Help Optimization?

1. 摘要 BN 是一個廣泛應用的用於快速穩定地訓練深度神經網絡的技術，但是我們對其有效性的真正原因仍然所知甚少。 輸入分佈的穩定性和 BN 的成功之間關係很小，BN 對訓練過程更根本的影響是：它讓優化更加平滑。這種平滑讓梯度更加可預測更加穩定，從而加速訓練。 2. BN 和 internal covariate shift 在原始論文 Batch Normalization: Accelerat

>>阅读原文<<