局部響應歸一化（Local Response Normalization，LRN）和批量歸一化（Batch Normalization，BN）的區別

爲什麼要歸一化？ 歸一化已成爲深度神經網絡中的一個重要步驟，它可以彌補ReLU、ELU等激活函數無界性的問題。有了這些激活函數，輸出層就不會被限制在一個有限的範圍內(比如tanh的 [ − 1 , 1 ] [-1,1] [−1,1])，而是可以根據訓練需要儘可能高地增長。爲了限制無界激活函數使其不增加輸出層的值，需要在激活函數之前進行歸一化。在深度神經網絡中有兩種常用的歸一化技術，但常被初學者所誤

>>阅读原文<<