自己對於batch_normalization和group_normalization的理解

一直懶得不整理，抱着僥倖心理覺得大腦都能記住，還是不能偷懶的, 該做的總結還是要做的，日後忘了也還可以翻翻   1、提出 normalization的原因： 首先說一下數據歸一化的原因：         在神經網絡學習過程中其實就是爲了學習輸入數據的分佈，而一旦訓練數據與測試數據的分佈不一樣，那麼在測試集上的效果就會很差，即網絡的泛化能力大大降低。另一方面，如果每個batch_size的訓練數據的

>>阅读原文<<