Batch Normolization原理介紹

一、在深度學習中，由於問題的複雜性，我們往往會使用較深層數的網絡進行訓練，在這個過程中，我們需要去嘗試不同的學習率、初始化參數方法（例如Xavier初始化）等方式來幫助我們的模型加速收斂。深度神經網絡之所以如此難訓練，其中一個重要原因就是網絡中層與層之間存在高度的關聯性與耦合性。 我們規定左側爲神經網絡的底層，右側爲神經網絡的上層。那麼網絡中層與層之間的關聯性會導致如下的狀況：隨着訓練的進行，網絡

>>阅读原文<<