Batch Normalization推導過程

一、BN簡介 Batch Normalization可謂深度學習的一大利器,可以大大提高訓練速度,並帶有正則化的效果。其能加速訓練的原因是因爲消除了每層輸出結果中的特徵偏移,例如我們在訓練一個貓的檢測器,如果當前batch中的貓均爲白色,那麼可能會導致訓練過程中某一層的權重分佈傾向於「顏色爲白色」。然而貓有各種顏色,如果網絡只拘泥於白色,會大大降低了訓練速度。因此,對Batch Normaliza
相關文章
相關標籤/搜索