神經網絡學習技巧之批次歸一化（Batch Normallization）

前提： 深度網絡內部數據分佈在訓練過程中發生變化的現象 例如第一組訓練爲： 第二組訓練結果爲; This difference in distribution is called the covariate shift（協變量偏移）。輸入層可通過樣本隨機化 解決。 • 在神經網絡中，每次在前一層中存在參數更新時，每個隱藏單元的輸入分佈都會發生變化。 這稱爲 Internal Covariate S

>>阅读原文<<