關於深度學習中的Batch normalization的理解

BN的原理 批規範化（Batch normalization）是深度學習中常常見到的一種訓練trick，指在採用梯度降低法訓練DNN時，對網絡層中每一個mini-batch的數據進行歸一化，使其均值變爲0，方差變爲1，其主要做用是緩解DNN訓練中的梯度消失/爆炸現象，加快模型的訓練速度。 下面是做者原論文中的算法介紹： html 最後的scale and shift操做是爲了讓因訓練須要而特地加入

>>阅读原文<<