批歸一化 BatchNorm

數據的分佈不穩定（不平均）會導致模型不收斂（特別是在數據不均勻時還用大的學習率），所以纔會在製作數據集或者對數據集進行預處理時，調整數據分佈，使數據分佈均勻（比如：正負樣本是均勻的，別存在數據集中百分之90都是正樣本這種情況）。  標準化也可以應用在中間層中，也就是對feature map做處理，好處見第二個圖。 下圖爲圖二：        上圖中個Xi冒後面的式子中加了個 一顆絲絨（一個極小值，

>>阅读原文<<