BN(Batch Normalization)

BN訓練         1）隨機梯度下降法（SGD）對於訓練深度網絡簡單高效，但是它有個毛病，就是需要我們人爲的去選擇參數，比如學習率、參數初始化、權重衰減係數、Drop out比例等。這些參數的選擇對訓練結果至關重要，以至於我們很多時間都浪費在這些的調參上。那麼使用BN（詳見論文《Batch Normalization_ Accelerating Deep Network Training b

>>阅读原文<<