Pytorch(筆記5) -- BatchNorm

    在上一節中，我們知道使用sigmoid會出現梯度消失的情況，在實際訓練中，引入了BatchNorm操作，可以將輸入值限定在之間，                 如下圖，如果不進行Batch Norm，如果輸入weight差別過大，在兩個方向進行梯度下降，會出現梯度下降不平衡，在訓練過程中不能穩定的收斂，在實際應用過程中也不能穩定的輸出label結果，因此Normalization是很重要

>>阅读原文<<