深度學習剖根問底：BN中的協方差偏移

今天給大家帶來深度學習的優化策略篇的第一篇Batch Normalization（BN）。BN可以看做對輸入樣本的一種約束，最大作用是加速收斂，減少模型對dropout，careful weight initialnization依賴，可以adopt higher learning rate的優勢，收斂速度可以提高10倍以上。   問題提出： 深度網絡參數訓練時內部存在協方差偏移（Internal

>>阅读原文<<