機器學習面試題之——BatchNorm

一、背景知識 1、機器學習領域有個重要假設：IID獨立同分布假設，就是假設訓練數據和測試數據是滿足相同分佈的，這是通過訓練數據獲得的模型能夠在測試集獲得好的效果的一個基本保障。而BatchNorm就是在深度神經網絡訓練過程中使得每一層神經網絡的輸入保持相同分佈。 2、Covariate Shift 指訓練數據和測試數據存在分佈的差異性。這會給網絡的泛化性和訓練速度帶來了影響，我們經常使用的方法是做

>>阅读原文<<