【深度學習】Weight Normalization: 一種簡單的加速深度網絡訓練的重參數方法

前言：爲何要Normalization 深度學習是一種在給定數據的狀況下，學習求解目標函數最小化或者最大化的模型。在深度網絡中，模型參數每每包含了大量的weights和biases。在求解優化模型的時候，一般是利用一階梯度的求解來更新網絡的權重。html 衆所周知，優化深度網絡時須要經過計算一階梯度，而目標函數的曲率會極大的影響優化的難易度。若是目標函數的Hessian矩陣的條件數過低，將會表現出

>>阅读原文<<