深度學習中的Batch normalization

批規範化（Batch normalization）是深度學習中經常見到的一種訓練trick，指在採用梯度下降法訓練DNN時，對網絡層中每個mini-batch的數據進行歸一化，使其均值變爲0，方差變爲1，其主要作用是緩解DNN訓練中的梯度消失/爆炸現象，加快模型的訓練速度。  下面是作者原論文中的算法介紹：  關於BN的兩點理解：  1.爲什麼它能緩解DNN訓練中的梯度消失/爆炸現象？  關於梯度

>>阅读原文<<