BN的理解（一）

0、問題數組 　　機器學習領域有個很重要的假設：IID獨立同分布假設，就是假設訓練數據和測試數據是知足相同分佈的，這是經過訓練數據得到的模型可以在測試集得到好的效果的一個基本保障。那BatchNorm的做用是什麼呢？BatchNorm就是在深度神經網絡訓練過程當中使得每一層神經網絡的輸入保持相同分佈的。網絡 　　思考一個問題：爲何傳統的神經網絡在訓練開始以前，要對輸入的數據作Normalizati

>>阅读原文<<