深度學習——Batch Normalization

Batch Normalization BatchNorm的基本思想：能不能讓每個隱層節點的激活輸入分佈固定下來呢？這樣就避免了「Internal Covariate Shift」問題了。之前的研究表明如果在圖像處理中對輸入圖像進行白化（Whiten）操作的話——所謂白化，就是對輸入數據分佈變換到0均值，單位方差的正態分佈——那麼神經網絡會較快收斂 BN作者就開始推論了：圖像是深度神經網絡的輸入層

>>阅读原文<<