基於機器學習batch歸一化克服深層神經網絡導致難以訓練的問題

covariate shift問題 機器學習中有一個經典的假設:訓練數據和測試數據是滿足相同分佈的。這是訓練數據獲得的模型能夠在測試集上獲得好的效果的一個基本保障。 當訓練集數據和測試集數據不一致的時候，訓練集訓練出來的模型未必能夠在測試集上有好的效果，這種訓練集和預測集樣本分佈不一致的情況就叫做covariate shift現象。 深度神經網絡的中間網絡層在訓練過程中，中間層數據不斷的改變，我們

>>阅读原文<<