Normalization 歸一化方法 BN LN IN GN

1.分類 BN是在batch上，對N、H、W做歸一化，而保留通道 C 的維度。BN對較小的batch size效果不好。BN適用於固定深度的前向神經網絡，如CNN，不適用於RNN； LN在通道方向上，對C、H、W歸一化，主要對RNN效果明顯； IN在圖像像素上，對H、W做歸一化，用在風格化遷移； GN將channel分組，然後再做歸一化。 2.BN 爲什麼要進行BN呢？ 1）在深度神經網絡訓練的過

>>阅读原文<<