【溫故知新】Batch Normalization原理

本文只用作記錄(摘抄)，建議看參考原文，詳細得多！ 機器學習領域有個很重要的假設：IID獨立同分布假設，就是假設訓練數據和測試數據是滿足相同分佈的，這是通過訓練數據獲得的模型能夠在測試集獲得好的效果的一個基本保障。那BatchNorm的作用是什麼呢？BatchNorm就是在深度神經網絡訓練過程中使得每一層神經網絡的輸入保持相同分佈的。 Internal Covariate Shift(ICS) 對

>>阅读原文<<