防止過擬合：L2 Regularization（權重衰減）

L2正則化 就是在原本的（成本、代價）損失函數後面加上一個正則化項。 L2正則化，也成爲weight decay，權重衰減 L2正則化是爲了防止訓練網絡的時候出現「過擬合」，現在來理解一下網絡的「欠擬合」與「過擬合」。 數學上從兩個角度來衡量一個變量的誤差： 偏差bias 方差variance 神經網絡中有 train error：訓練誤差，訓練過程其實就是根據「損失」來動態調整模型參數。隨機梯度

>>阅读原文<<