Knowledge Point (KP): BN, LN, IN,GN和SN的異同

本文首先講解BN[1]， LN[2]， IN[3]， GN[4]和SN[5]的異同，其次講解BN爲何有效的可能原因[6]。 BN、LN、IN、GN和SN的異同 參考上圖： BN是在batch上，對N，H，W做歸一化，對小batchsize效果不好，應優先考慮 LN在通道方向上，對C，H，W做歸一化，主要用於RNN IN在圖像像素上，對H， W做歸一化，主要用於風格遷移， GAN GN將通道分組，然

>>阅读原文<<