keras搬磚系列-BN層

keras搬磚系列-BN層 BN層的作用： 1，加速收斂；2，控制過擬合，可以少用Dropout或者不用Dropout；3，降低網絡對初始化權重的不敏感；4，允許使用比較大的學習率。 BN層？ 批規範化，每次SGD的時候，採用mini-batch的時候對相應的activation做一次規範化，使得結果的均值爲0，方差爲1，最後的scale and shift 操作則是爲了因訓練所需刻意加入的BN能

>>阅读原文<<