Inception系列之Batch-Normalization

 Inception系列之Inception_v1

Inception系列之Inception_v2-v3

　　訓練深度神經網絡很是複雜，由於在訓練過程當中，隨着先前各層的參數發生變化，各層輸入的分佈也會發生變化，圖層輸入分佈的變化帶來了一個問題，由於圖層須要不斷適應新的分佈，所以訓練變得複雜，隨着網絡變得更深，網絡參數的細微變化也會放大。因爲要求較低的學習率和仔細的參數初始化，這減慢了訓練速度，而且衆所周知，訓練具備飽和非線性的模型很是困難。咱們將此現象稱爲內部協變量偏移，並經過歸一化層輸入來解決該問題。

 

    Batch Normalization經過將歸一化做爲模型體系結構的一部分併爲每一個訓練小批量執行歸一化來汲取其優點。批處理規範化使咱們可使用更高的學習率，而對初始化則沒必要那麼當心。它還能夠充當正則化器，在某些狀況下，不須要Dropout，BN朝着減小內部協變量偏移邁出了一步，而且在此過程當中極大地加速了深度神經網絡的訓練。它經過固定圖層輸入的均值和方差的歸一化步驟來完成此操做。

 

    BN應用於最早進的圖像分類模型，以較少的14倍訓練步驟便可達到相同的精度，而且在很大程度上擊敗了原始模型。使用批歸一化網絡的模型在 ImageNet分類中達到4.9％的top-5驗證錯誤（和4.8％的測試錯誤），超過了人類評分者的準確性。

 

Batch-Normalization實現

 

    最開始的想法是經過白化來實現分佈歸一化，然而考慮到白化須要在梯度降低外計算協方差矩陣，所以白化層將嚴重影響計算量。後來選擇了在mini-batch中使用以下公式實現歸一化：

    請注意，簡單地標準化圖層的每一個輸入可能會更改該圖層能夠表示的內容。例如，對S形輸入進行歸一化會將其約束爲非線性的線性狀態。爲了解決這個問題，咱們確保網絡中插入的轉換能夠表示身份轉換（the transformation inserted in the network can represent the identity transform）。所以，咱們爲每次激活x（k）引入一對參數γ（k），β（k），它們可縮放和移動標準化值：

其中，γ(k) = Var[x(k)]開根號，β(k) = E[x(k)]

 

具體實現算法僞代碼以下：

    在訓練期間，咱們須要經過此變換反向傳播損耗gradient的梯度，以及計算與BN變換的參數有關的梯度。咱們使用鏈式規則，以下所示（在簡化以前）：

    所以，BN轉換是將標準化激活引入網絡的可微分轉換。這樣能夠確保在訓練模型時，各層能夠繼續學習內部協變量偏移較少的輸入分佈，從而加快了訓練速度。此外，將學習到的仿射變換應用於這些規範化激活，可使BN變換表示身份變換並保留網絡容量。

 

Batch-Normalization在卷積層中應用

 

    卷積網絡中添加BN前的映射方程爲z = g（W u + b),這裏g是激活函數。在添加BN後變爲了z = g（BN（W u））,這裏去除了b，因爲咱們對W u + b進行了歸一化，所以能夠忽略誤差b，由於其做用將被隨後的均值減法抵消（誤差的做用在前面的式子中由β所實現）

 

Batch-Normalization有利於使用更大的學習率

 

    在傳統的深度網絡中，太高的學習率可能會致使梯度爆炸或消失，以及陷入不良的局部最小值。批處理規範化有助於解決這些問題。經過對整個網絡的激活進行標準化，能夠防止對參數的細微更改放大爲梯度激活中的較大和次佳的更改。例如，它能夠防止訓練陷入非線性的飽和狀態。

    批歸一化還使訓練對參數規模更具彈性。一般，較高的學習率可能會增長圖層參數的規模，而後放大反向傳播期間的梯度並致使模型爆炸。可是，使用批歸一化，經過層的反向傳播不受其參數範圍的影響。確實，對於標量a, 假設BN (W u) = BN ((aW )u)，（這裏能夠這麼假設的緣由，我的理解是BN有仿射變換，能夠實現不一樣卷積參數大小獲得相同的結果），等式兩邊分別對u和W求導，

    對此，比例尺a不會影響雅可比層，也不會影響梯度傳播。並且，較大的權重反而有較小的梯度，而且「批歸一化」將穩定參數的增加。

 

Batch-Normalization實際效果

 

1. 增長學習率

2. 可去除Dropout

3. 減小L2權重正則化

4. 加速學習率衰減

5. 再也不須要局部響應歸一化（LRN）（在BN提出來以前是使用LRN）

6. 更完全地混洗訓練示例

7. 減小光度失真

    後兩個不太好理解，例如第七點，原文的說法是「因爲批量歸一化的網絡訓練速度更快，而且觀察每一個訓練示例的次數更少，所以，咱們使訓練者能夠經過減小畸變來專一於更多「真實」的圖像。「我我的的理解是能夠減小對圖像進行畸變這種數據加強方式，由於有了BN後能更關注於真實圖像，但這種理解不夠直觀，並不知道爲何會能夠這樣。

 

實驗效果，收斂速度明顯更快，精度更高。

 

若有錯誤或不合理之處，歡迎在評論中指正。

歡迎關注公衆號「CV技術指南」，主要進行計算機視覺方向的論文解讀，最新技術跟蹤，以及CV技術的總結。