深度神經網絡中BN（Batch Norm）的理解

BN的啓發來源 之前的研究表明在圖像處理中，對輸入的圖像進行白化（Whiten），就是對輸入數據分佈變換到0 均值，單位方差的正態分佈，那麼神經網絡就會較快收斂。在神經網絡中，相對下一層來說，每一個隱層都是輸入層，那麼能不能對每個隱層都做白化呢？這就是啓發BN產生的原初想法，可以理解爲對深層神經網絡每個隱層神經元的激活值做簡化版本的白化操作。 本質思想 深層神經網絡在做非線性變換前的激活輸入值隨着

>>阅读原文<<