深度學習知識點複習：feature normalization和batch normalization

1 爲什麼要對input 做normalization： input上的值差異非常巨大，導致模型訓練的很慢，如左圖所示，如果差異很小，訓練很快，如右圖 爲了使得loss改變，不同的w的改變的幅度不一樣，因此左圖縱向上波動很短。右圖因爲w1和w2的波動對損失的影響差不多，因此是一個對稱的圓形。 通常對左邊情況的只有將lr 調低一點，使得w2 緩慢調整降低loss。 2 feature normali

>>阅读原文<<