詳解深度學習中的Normalization，不只是BN（1）

「 深度神經網絡模型訓練之難衆所周知，其中一個重要的現象就是 Internal Covariate Shift. Batch Normalization 大法自 2015 年由Google 提出之後，就成爲深度學習必備之神器。自 BN 之後， Layer Norm / Weight Norm / Cosine Norm 等也橫空出世。本文從 Normalization 的背景講起，用一個公式概括

>>阅读原文<<