常用正則化方法總結

有效的正則化策略可以顯著的減少方差而不過度增加偏差。 參數範數懲罰 許多正則化方法會在損失函數中添加一個參數範數懲罰，限制模型（如神經網路、線性迴歸或邏輯迴歸）的學習能力 J ~ ( θ ; X , y ) = J ( θ ; X , y ) + α Ω ( θ ) \tilde J (\pmb{\theta};\boldsymbol{X},\pmb{y} ) = J (\pmb{\theta};

>>阅读原文<<