正則化如何防止過擬合

在訓練數據不夠多時，或者overtraining時，經常會致使overfitting（過擬合）。其直觀的表現以下圖所示，隨着訓練過程的進行，模型複雜度增長，在training data上的error漸漸減少，可是在驗證集上的error卻反而漸漸增大——由於訓練出來的網絡過擬合了訓練集，對訓練集外的數據卻不work。

　　

爲了防止overfitting，能夠用的方法有不少，下文就將以此展開。有一個概念須要先說明，在機器學習算法中，咱們經常將原始數據集分爲三部分：training data、validation data，testing data。這個validation data是什麼？它其實就是用來避免過擬合的，在訓練過程當中，咱們一般用它來肯定一些超參數（好比根據validation data上的accuracy來肯定early stopping的epoch大小、根據validation data肯定learning rate等等）。那爲啥不直接在testing data上作這些呢？由於若是在testing data作這些，那麼隨着訓練的進行，咱們的網絡實際上就是在一點一點地overfitting咱們的testing data，致使最後獲得的testing accuracy沒有任何參考意義。所以，training data的做用是計算梯度更新權重，validation data如上所述，testing data則給出一個accuracy以判斷網絡的好壞。

避免過擬合的方法有不少：early stopping、數據集擴增（Data augmentation）、正則化（Regularization）包括L一、L2（L2 regularization也叫weight decay），dropout。

L2 regularization（權重衰減）

L2正則化就是在代價函數後面再加上一個正則化項：

　　　　　　　　

C0表明原始的代價函數，後面那一項就是L2正則化項，它是這樣來的：全部參數w的平方的和，除以訓練集的樣本大小n。λ就是正則項係數，權衡正則項與C0項的比重。另外還有一個係數1/2，1/2常常會看到，主要是爲了後面求導的結果方便，後面那一項求導會產生一個2，與1/2相乘恰好湊整。

L2正則化項是怎麼避免overfitting的呢？咱們推導一下看看，先求導：

　　　　　　　　

能夠發現L2正則化項對b的更新沒有影響，可是對於w的更新有影響:

　　　　　　　　　　

在不使用L2正則化時，求導結果中w前係數爲1，如今w前面係數爲 1−ηλ/n ，由於η、λ、n都是正的，因此 1−ηλ/n小於1，它的效果是減少w，這也就是權重衰減（weight decay）的由來。固然考慮到後面的導數項，w最終的值可能增大也可能減少。

另外，須要提一下，對於基於mini-batch的隨機梯度降低，w和b更新的公式跟上面給出的有點不一樣：

　　　　　　　　　　    

　　　　　　　　　  

對比上面w的更新公式，能夠發現後面那一項變了，變成全部導數加和，乘以η再除以m，m是一個mini-batch中樣本的個數。

到目前爲止，咱們只是解釋了L2正則化項有讓w「變小」的效果，可是還沒解釋爲何w「變小」能夠防止overfitting？一個所謂「顯而易見」的解釋就是：更小的權值w，從某種意義上說，表示網絡的複雜度更低，對數據的擬合剛恰好（這個法則也叫作奧卡姆剃刀），而在實際應用中，也驗證了這一點，L2正則化的效果每每好於未經正則化的效果。固然，對於不少人（包括我）來講，這個解釋彷佛不那麼顯而易見，因此這裏添加一個稍微數學一點的解釋（引自知乎）：

過擬合的時候，擬合函數的係數每每很是大，爲何？以下圖所示，過擬合，就是擬合函數須要顧忌每個點，最終造成的擬合函數波動很大。在某些很小的區間裏，函數值的變化很劇烈。這就意味着函數在某些小區間裏的導數值（絕對值）很是大，因爲自變量值可大可小，因此只有係數足夠大，才能保證導數值很大。

　　　　　　　　　　

 

而正則化是經過約束參數的範數使其不要太大，因此能夠在必定程度上減小過擬合狀況。 

L1 regularization

在原始的代價函數後面加上一個L1正則化項，即全部權重w的絕對值的和，乘以λ/n（這裏不像L2正則化項那樣，須要再乘以1/2，具體緣由上面已經說過。）

　　　　　　　　

一樣先計算導數：

　　　　　　　　　　

上式中sgn(w)表示w的符號。那麼權重w的更新規則爲：

　　　　　　　　　　

比原始的更新規則多出了η * λ * sgn(w)/n這一項。當w爲正時，更新後的w變小。當w爲負時，更新後的w變大——所以它的效果就是讓w往0靠，使網絡中的權重儘量爲0，也就至關於減少了網絡複雜度，防止過擬合。

另外，上面沒有提到一個問題，當w爲0時怎麼辦？當w等於0時，|W|是不可導的，因此咱們只能按照原始的未經正則化的方法去更新w，這就至關於去掉η*λ*sgn(w)/n這一項，因此咱們能夠規定sgn(0)=0，這樣就把w=0的狀況也統一進來了。（在編程的時候，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）

Dropout

L一、L2正則化是經過修改代價函數來實現的，而Dropout則是經過修改神經網絡自己來實現的，它是在訓練網絡時用的一種技巧（trike）。它的流程以下：

　　

假設咱們要訓練上圖這個網絡，在訓練開始時，咱們隨機地「刪除」一半的隱層單元，視它們爲不存在，獲得以下的網絡：

　　

保持輸入輸出層不變，按照BP算法更新上圖神經網絡中的權值（虛線鏈接的單元不更新，由於它們被「臨時刪除」了）。

以上就是一次迭代的過程，在第二次迭代中，也用一樣的方法，只不過此次刪除的那一半隱層單元，跟上一次刪除掉的確定是不同的，由於咱們每一次迭代都是「隨機」地去刪掉一半。第三次、第四次……都是這樣，直至訓練結束。

以上就是Dropout，它爲何有助於防止過擬合呢？能夠簡單地這樣解釋，運用了dropout的訓練過程，至關於訓練了不少個只有半數隱層單元的神經網絡（後面簡稱爲「半數網絡」），每個這樣的半數網絡，均可以給出一個分類結果，這些結果有的是正確的，有的是錯誤的。隨着訓練的進行，大部分半數網絡均可以給出正確的分類結果，那麼少數的錯誤分類結果就不會對最終結果形成大的影響。