深度學習之過擬合問題（二）

  一、正則化方法 正則化方法的基本思想是，通過加入一個含有解的先驗知識的約束來控制函數的光滑性，即爲損失函數添加正則項來限制參數權值過大weight decay、降低模型複雜度，正則化方法主要有L1-norm、L2-norm兩種方式： 1、L1-norm在參數w較小時能夠直接縮減至0，相當於參數服從拉普拉斯先驗分佈，這種方法傾向於產生少量的特徵，降低模型的複雜度，增加網絡稀疏性，因此可以防止過擬

>>阅读原文<<