Batch Normalization的重新解釋

有篇論文對於Batch Normalization（BN）如何加快網絡的訓練過程提出了新的看法，該論文爲《How Does Batch Normalization Help Optimization?》 Internal Covariate Shift 首先說說BN提出來是針對什麼問題的。BN那篇論文針對的問題是Internal Covariate shift (ICS)，具體地說，在訓練過程中，

>>阅读原文<<