Batch Norm理解

BN怎麼計算（訓練過程） 設有BN層，即一個BN層可學習的參數有和。 對一個mini-batch，。 第一步，計算當前batch的均值和方差（對同一層的所有節點）：  ； 第二步，進行規範化：； 第三步，進行平移和縮放：. BN的推理過程（如何加速BN？） 採用在訓練過程中收集的全局統計量來代替均值和方差：, . 然後將上面兩部分帶入到中，得到： 早期解釋 《Batch Normalization

>>阅读原文<<