NLP中 batch normalization與 layer normalization

NLP中 batch normalization與 layer normalization BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm總結 對於batch normalization實際上有兩種說法，一種是說BN能夠解決「Internal Covariate Shift」這種問題。簡單理解就

>>阅读原文<<