[譯改]BN/LN/IN/GN 詳解

本文主體內容是由牆外翻譯修改而來，對關鍵結論寫下了自己的理解。 Batch normalization Batch norm (Ioffe & Szegedy, 2015)是提出的用於訓練深度神經網絡的歸一化的方法，在經驗上是非常成功的。它還引入了「內部協變位移（internal covariate shift）」這一術語，定義爲訓練過程中網絡參數的變化導致網絡活動分佈的變化。批處理範數的目標是通

>>阅读原文<<