Normalization Technique總結

1.相關介紹： 神經網絡在多個領域取得了非凡的成就，例如，語音識別，圖像識別等。所以，訓練神經網絡是個重要的任務，gradient descent常被用來尋來拿神經網絡。但在網絡比較深時，gradient descent容易出現梯度消失或梯度爆炸等現象。因此，在使用SGD算法對神經網絡進行優化時，需要小心的對模型超參數進行微調，例如學習速率，模型參數的初始化等。神經網絡的訓練過程是很複雜的，每層的

>>阅读原文<<