batch normalization（吳恩達視頻筆記）

batch normalization會使你的參數更容易，使神經網絡對超參數的選擇更加穩定，超參數的範圍會更龐大，工作效果也很好。 其中在第三步的分母上加入ε是爲了防止σ爲0的情況，通過歸一化，將z(i) 化爲含平均值0和標準差爲1，但我們不想讓隱藏單元總是含有平均值0和標準差1，因爲也許隱藏單元有了不同的分佈會更有意義，所有有了第四步，其中γ和β是學習的參數，需要和權重一樣更新參數，γ和β的作用

>>阅读原文<<