深度學習中的正則化方法

引入正則化 在深度學習背景下，大多數正則化策略都會對估計進行正則化。估計的正則化以偏差的增加換取方差的減少。一個有效的正則化是有利的權衡，也就是能顯著減少方差而不過度增加偏差。 參數範數懲罰 許多正則化方法通過對目標函數 J 添加一個參數範數懲罰 Ω(θ) ，限制模型的學習能力。正則化後的目標函數記爲 J~ J~(θ;X,y)=J(θ;X,y)+αΩ(θ) 通常，在神經網絡中只對每一層仿射變換的權

>>阅读原文<<