在深度學習中對正則化的直觀認識

做者|Kelvin Lee
編譯|Flin
來源|towardsdatascience

得到對正則化的直觀認識

在機器學習中，正則化是一種用來對抗高方差的方法——換句話說，就是模型學習再現數據的問題，而不是關於問題的潛在語義。與人類學習相似，咱們的想法是構建家庭做業問題來測試和構建知識，而不是簡單的死記硬背：例如，學習乘法表，而不是學習如何乘。

這種現象在神經網絡學習中尤其廣泛——學習能力越強，記憶的可能性就越大，這取決於咱們這些實踐者如何引導深度學習模型來吸取咱們的問題，而不是咱們的數據。大家中的許多人在過去都曾遇到過這些方法，而且可能已經對不一樣的正則化方法如何影響結果造成了本身的直觀認識。爲大家中那些不知道的人（甚至爲那些知道的人！）本文爲正則化神經網絡參數的造成提供了直觀的指導。將這些方面可視化是很重要的，由於人們很容易將許多概念視爲理所固然；本文中的圖形和它們的解釋將幫助你直觀地瞭解，當你增長正則化時，模型參數的實際狀況。

在本文中，我將把 L2 和 dropouts 做爲正則化的標準形式。我不會討論其餘方法（例如收集更多數據）如何改變模型的工做方式。

全部的圖形和模型都是用標準的科學Python堆棧製做的：numpy、matplotlib、scipy、sklearn，而神經網絡模型則是用PyTorch構建的。

開發複雜函數

深度學習的核心原則之一是深度神經網絡做爲通用函數逼近的能力。不管你感興趣的是什麼，疾病傳播，自動駕駛汽車，天文學等，均可以經過一個自學習模型來壓縮和表達，這種想法絕對是使人驚奇的！儘管你感興趣的問題其實是是否能夠用解析函數f來表示這些問題，但當你經過訓練來調整機器學習模型時，該模型採用的參數θ容許模型近似地學習 f*。

出於演示的目的，咱們將查看一些相對簡單的數據:理想狀況下，一維中的某些數據足夠複雜，足以使老式曲線擬合變得痛苦，但還不足以使抽象和理解變得困難。我要建立一個複雜的函數來模擬週期信號，可是要加入一些有趣的東西。下面的函數實現以下方程:

其中A，B，C是從不一樣高斯分佈中採樣的隨機數。這些值的做用是在很是類似的函數之間加上滯後，使得它們隨機地加在一塊兒產生很是不一樣的f值。咱們還將在數據中添加白色（高斯）噪聲，以模擬所收集數據的效果。

讓咱們將隨機生成的數據樣本可視化：在本文的其他部分中，咱們將使用一個小的神經網絡來重現這條曲線。

爲了進行咱們的模型訓練，咱們將把它分紅訓練/驗證集。爲此，我將在sklearn.model_selection中使用極其方便的train_test_split功能。讓咱們設計訓練和驗證集：

正如咱們在圖中看到的，這兩個集合在表示整個曲線方面都作得至關好：若是咱們刪除其中一個，咱們能夠或多或少地收集到數據表示的相同圖片。這是交叉驗證的一個很是重要的方面！

開發咱們的模型

如今咱們有了一個數據集，咱們須要一個相對簡單的模型來嘗試複製它。爲了達到這個目的，咱們將要處理一個四層的神經網絡，它包含三個隱藏層的單個輸入和輸出值，每一個隱藏層64個神經元。

爲了方便起見，每一個隱藏層都有一個LeakyReLU激活，輸出上有ReLU激活。原則上，這些應該不那麼重要，可是在測試過程當中，模型有時沒法學習一些「複雜」的功能，特別是當使用像tanh和sigmoid這樣容易飽和的激活函數時。在本文中，這個模型的細節並不重要：重要的是它是一個徹底鏈接的神經網絡，它有能力學習逼近某些函數。

爲了證實模型的有效性，我使用均方偏差（MSE）損失和ADAM優化器執行了一般的訓練/驗證週期，沒有任何形式的正則化，最後獲得瞭如下結果：

當咱們使用此模型來預測：

除了曲率變化很快的區域（接近x=11）以外，這個模型很好地再現了咱們的「複雜」函數！

如今，我能夠聽到你在問：若是模型運行良好，我爲何要作任何正則化？在本演示中，咱們的模型是否過擬合併不重要：我想要理解的是正則化如何影響一個模型;在咱們的例子中，它甚至會對一個完美的工做模型產生不利影響。在某種意義上，你能夠把這理解爲一個警告:當你遇到過分擬合時要處理它，但在此以前不要處理。用Donald Knuth的話說，「不成熟的優化是萬惡之源」。

正則化如何影響參數

如今咱們已經完成了全部的樣板文件，咱們能夠進入文章的核心了!咱們的重點是創建對正則化的直觀認識，即不一樣的正則化方法如何從三個角度影響咱們的簡單模型:

1. 訓練/驗證的損失會怎樣?

2. 咱們的模型性能會發生什麼變化?

3. 實際的參數會怎樣呢?

雖然前兩點很簡單，可是不少人可能不熟悉如何量化第三點。在這個演示中，我將使用核密度評估來測量參數值的變化:對於那些熟悉Tensorboard的人來講，你將看到這些圖;對於那些不知道的人，能夠把這些圖看做是複雜的直方圖。目標是可視化咱們的模型參數如何隨正則化而變化，下圖顯示了訓練先後θ分佈的差別：

藍色曲線被標記爲「均勻的」，由於它表明了咱們用均勻分佈初始化的模型參數:你能夠看到這基本上是一個頂帽函數，在中心具備相等的機率。這與訓練後的模型參數造成了鮮明的對比：通過訓練，模型須要不均勻的θ值才能表達咱們的功能。

L2正則化

正則化最直接的方法之一是所謂的L2正則化:L2指的是使用參數矩陣的L2範數。由線性代數可知，矩陣的範數爲:

在前神經網絡機器學習中，參數一般用向量而不是矩陣/張量來表示，這就是歐幾里得範數。在深度學習中，咱們一般處理的是矩陣/高維張量，而歐幾里德範數並不能很好地擴展(超越歐幾里德幾何)。L2範數其實是上述方程的一個特例，其中p=q=2被稱爲Frobenius或Hilbert-schmidt範數，它能夠推廣到無限維度(即Hilbert空間)。

在深度學習應用中，應用這種L2正則化的通常形式是在代價函數J的末尾附加一個「懲罰」項:

很簡單，這個方程定義了代價函數J爲MSE損失，以及L2範數。L2範數的影響代價乘以這個前因子λ；這在許多實現中被稱爲「權值衰減」超參數，一般在0到1之間。由於它控制了正則化的數量，因此咱們須要瞭解這對咱們的模型有什麼影響!

在一系列的實驗中，咱們將重複與以前相同的訓練/驗證/可視化週期，可是這是在一系列的λ值上。首先，它是如何影響咱們的訓練的?

讓咱們來分析一下。更深的紅色對應於更大的λ值(儘管這不是一個線性映射!),將訓練損失的痕跡顯示爲MSE損失的日誌。記住，在咱們的非正則化模型中，這些曲線是單調遞減的。在這裏,當咱們增長λ的值，最終訓練偏差大大增長,而且早期損失的減小也沒有那麼顯著。當咱們試圖使用這些模型來預測咱們的功能時，會發生什麼?

咱們能夠看到，當λ值很小時，函數仍然能夠很好地表達。轉折點彷佛在λ=0.01附近，在這裏，曲線的定性形狀被再現，但不是實際的數據點。從λ>0.01，模型只是預測整個數據集的平均值。若是咱們把這些解釋爲咱們在訓練上的損失，那麼損失就會中止，這也就不足爲奇了。

那麼參數的分佈呢?

咱們看到,參數值的傳播大大受阻,正如咱們的 λ 從低到高。與均勻分佈相比，參數值的擴展愈來愈接近於零，λ=1.0時，θ的分佈看起來就像一個在0處的狄拉克δ函數。由此，咱們能夠消除L2正則化做用於約束參數空間——強制θ很是稀疏而且接近零。

dropouts呢?

另外一種流行且成本高效的正則化方法是在模型中包含dropouts。這個想法是，每次模型經過時，一些神經元經過根據機率p將它們的權值設置爲0來失活。換句話說，咱們對參數應用一個布爾掩碼，每次數據經過不一樣的單元時都被激活。這背後的基本原理是將模型學習分佈在整個網絡中，而不是特定的一層或兩層/神經元。

在咱們的實驗中，咱們將在每一個隱藏層之間加入dropout層，並將dropout機率p從0調整爲1。在前一種狀況下，咱們應該有一個非正則化的模型，而在後一種狀況下，咱們各自的學習能力應該有所降低，由於每個隱藏層都被停用了。

咱們看到了與L2正則化很是類似的效果:整體而言，模型的學習能力降低，而且隨着dropout機率值的增大，最終損失的比例也增大。

當咱們試圖使用這些模型來預測咱們的功能時:

如圖，咱們逐步增長了dropout機率。從p=0.1開始，咱們能夠看到咱們的模型對於它的預測開始變得至關不可靠:最有趣的是，它彷佛近似地跟蹤了咱們的數據，包括噪音!

在p=0.2和0.3時，這一點在x=11時更加明顯——回想一下，咱們的非正則化模型很可貴到正確的函數區域。咱們看到，帶dropout的預測實際上使這一區域難以置信的模糊，這幾乎就像模型告訴咱們，它是不肯定的!(後面會詳細介紹)。

從p=0.4開始，模型的能力彷佛受到了極大的限制，除了第一部分以外，它幾乎沒法再現曲線的其餘部分。在p=0.6時，預測結果彷佛接近數據集的平均值，這彷佛也發生在L2正則化的大值上。

咱們的模型參數呢?

將此結果與咱們的L2範數結果進行比較:對於dropout，咱們的參數分佈更廣，這增長了咱們的模型表達的能力。除p=1.0外，dropout機率的實際值對參數的分佈影響不大，若是有影響的話。在p=1.0時，咱們的模型沒有學到任何東西，只是相似於均勻分佈。在p值下降時，儘管速度下降了，模型仍然可以學習。

最後

從咱們簡單的實驗中，我但願你已經從咱們探索的三個角度，對這兩種正則化方法如何影響神經網絡模型造成了一些直觀認識。

L2正則化很是簡單，只須要調整一個超參數。當咱們增長L2懲罰的權重時，由於參數空間的變化，對於大的值(0.01-1)，模型容量降低得很是快。對於較小的值,你甚至可能不會看到模型預測有什麼變化。

Dropouts是一種更復雜的正則化方法，由於如今必須處理另外一層超參數複雜性(p能夠爲不一樣的層提供不一樣的值)。儘管如此，這實際上能夠提供模型表達的另外一個維度:模型不肯定性的形式。

在這兩種方法中，咱們看到正則化增長了最終的訓練損失。這些人工形式的正則化(與獲取更多的訓練數據相反)的代價是它們會下降模型的容量: 除非你肯定你的模型須要正則化，不然在這樣的結果下，你不會但願正則化。可是，經過本指南，你如今應該知道這兩種形式如何影響你的模型!

若是你感興趣，能夠在Binder上（https://mybinder.org/v2/gh/laserkelvin/understanding-ml/master） 運行一些代碼。我不須要運行torch模型(這會耗盡它們的資源)，可是你可使用它在notebook中查看代碼。

原文連接：https://towardsdatascience.com/a-visual-intuition-for-regularization-in-deep-learning-fe904987abbb

歡迎關注磐創AI博客站：
http://panchuang.net/

sklearn機器學習中文官方文檔：
http://sklearn123.com/

歡迎關注磐創博客資源彙總站：
http://docs.panchuang.net/