深度學習（三）：DNN的正則化策略綜述

和普通的機器學習算法一樣，DNN也會遇到過擬合的問題，需要考慮泛化，這裏我們就對DNN的正則化方法做一個總結。 一、L1&L2正則化 想到正則化，我們首先想到的就是L1正則化和L2正則化。L1正則化和L2正則化原理類似，這裏重點講述DNN的L2正則化。 而DNN的L2正則化通常的做法是隻針對與線性係數矩陣 W W W,而不針對偏倚係數 b b b。利用我們之前的機器學習的知識，我們很容易可以寫出D

>>阅读原文<<