優化方法總結 Batch Normalization、Layer Normalization、Instance Normalization 及 Group Normalization

目錄 從 Mini-Batch SGD 說起 Normalization 到底是在做什麼 Batch Normalization 如何做 3.1 前向神經網絡中的 BN 3.2 CNN 網絡中的 BN 3.3 Batch Norm 的四大罪狀 侷限 1：如果 Batch Size 太小，則 BN 效果明顯下降。 侷限 2：對於有些像素級圖片生成任務來說，BN 效果不佳； 侷限 3：RNN 等動態網

>>阅读原文<<