Batch Normalization（BN）

w的賦值比較困難，稍一賦值不好，就會使得CNN很脆弱，變得特別發散或特別難；我們就得想辦法，看能不能約束一下這個w。 我們希望激勵過後的結果是高斯分佈的，手動可以進行修改：首先對每一個維度都獨立計算經驗均值和方差，再進行標準化。 我們也可以想辦法讓它自動進行修改，而Batch Normalization就可以進行這樣的操作。 Batch Normalization通常是在全連接層後（因爲全連接層後

>>阅读原文<<