經常使用的歸一化（Normalization） 方法：BN、LN、IN、GN

經常使用的Normalization方法主要有：Batch Normalization（BN，2015年）、Layer Normalization（LN，2016年）、Instance Normalization（IN，2017年）、Group Normalization（GN，2018年）。它們都是從激活函數的輸入來考慮、作文章的，以不一樣的方式對激活函數的輸入進行 Norm 的。 咱們將輸入的

>>阅读原文<<