深度學習筆記（17）：Batch Norm簡介

剖析與心得 我們已經發現了在初始化的時候將輸入數據歸一化會得到更快的梯度下降速度與效果。那麼其實很容易就會想到，如果我們能在神經網絡的每一個隱藏層中都控制這些數值的分佈，也許效果會不錯。那麼Batch norm就誕生了。它可以使你訓練更深層次的神經網絡，並且使得下降更快。 實現過程 只需要四步： 1）求出來每一行的 z z z均值 μ \mu μ 2）求出來每一行的方差 σ \sigma σ2 3

>>阅读原文<<