網絡權重初始化方法總結（上）：梯度消失、梯度爆炸與不良的初始化

目錄

• 前向傳播與反向傳播回顧
• 梯度消失與梯度爆炸
  • 激活函數的影響
  • 權重矩陣的影響
• 不良初始化
• 參考

博客：blog.shinelee.me | 博客園 | CSDN

前向傳播與反向傳播回顧

神經網絡的訓練過程能夠簡化成如下步驟，

1. 輸入預處理（feature scaling等）
2. 初始化網絡weight和bias
3. 前向傳播，獲得網絡輸出
4. 計算損失函數，獲得當前損失
5. 反向傳播，根據鏈式法則，逐層回傳獲得損失函數對當前參數的偏導，根據梯度降低算法對當前參數進行更新
6. 重複步驟3 4 5，直到損失再也不減少，即收斂

一個簡單的前向傳播和反向傳播的示意圖以下，線性組合和非線性激活交替進行，線性組合層能夠爲全鏈接層或卷積層等，圖片來自連接，

梯度降低算法的參數更新公式爲，
\[ W(t+1)=W(t)-\eta \frac{d C}{d W} \]
其中\(C=J(W)\)爲損失函數，即經過參數的偏導對參數進行更新。反向傳播時，由鏈式法則，偏導反向回傳，逐層計算損失函數對當前參數的偏導。對某個參數的偏導爲一串因子的乘積，因子依次爲損失函數對網絡輸出的偏導、激活函數的偏導、線性組合的偏導、激活函數的偏導、線性組合的偏導……以下面所示（來自連接），這裏，損失爲二分之LMS，用\(C\)表示，\(z\)爲線性組合的輸出（激活層的輸入），\(a\)爲激活層的輸出（線性組合的輸入），

仔細觀察上式，偏導爲一串因子的乘積，因子中的每一項對乘積結果都有影響，有幾點須要注意，回傳時，

• 每一個權重的偏導中含有一個共同的因子項，爲損失函數對網絡輸出的偏導
• 每通過一個激活層，就有一個激活函數偏導做爲因子項，如\(\sigma'(z^L)=\frac{\partial a^L}{\partial z^L}\)
• 對當前線性組合層的權重求偏導，含且只含一個當前層的輸入（前一層的輸出）做爲因子項，如\(a^{L-1}\)
• 每通過一個線性組合層（全鏈接層or卷積層），就有一個權重矩陣做爲因子項，如\(w^L\)

因此，激活函數的偏導、權重矩陣、當前層的輸入（前一層的輸出），這些項的取值均會對偏導數產生影響，偏導數爲這些因子項共同做用的結果，特別地，

• 若激活函數偏導爲0，則權重偏導爲0；
• 若前一層的輸出（當前層輸入）爲0，則當前層權重的偏導爲0；
• 若後一層的權重\(w^L\)爲0，則當前層權重的偏導\(\frac{\partial C}{\partial {w^{L-1}}}\)爲0；

直覺上，因子項連乘可能隱含潛在的問題：\(0.25^{10} = 0.00000095367431640625\)，\(2^{10}=1024\)。對於如今動輒幾10、成百、上千層的網絡，這些因子項的取值範圍極大地影響着權重偏導的結果：小了，通過連續相乘，結果可能接近於0，大了，結果可能超過數據類型的上界。同時，網絡的深度讓這個問題指數級地放大了。

梯度消失與梯度爆炸

梯度爲偏導數構成的向量。

損失函數收斂至極小值時，梯度爲0（接近0），損失函數再也不降低。咱們不但願在抵達極小值前，梯度就爲0了，也不但願降低過程過於震盪，甚至不收斂。梯度消失與梯度爆炸分別對應這2種現象，

梯度消失(vanishing gradients)：指的是在訓練過程當中，梯度（偏導）過早接近於0的現象，致使（部分）參數一直再也不更新，總體上表現得像損失函數收斂了，實際上網絡還沒有獲得充分的訓練。

梯度爆炸（exploding gradients）：指的是在訓練過程當中，梯度（偏導）過大甚至爲NAN（not a number）的現象，致使損失劇烈震盪，甚至發散(divergence)。

由上一節的分析可知，在梯度（偏導）計算中，主要的影響因素來自激活函數的偏導、當前層的輸入（前一層的輸出）、以及權重的數值等，這些因子連續相乘，帶來的影響是指數級的。訓練階段，權重在不斷調整，每一層的輸入輸出也在不斷變化，梯度消失和梯度爆炸可能發生在訓練的一開始、也可能發生在訓練的過程當中。

因子項中當前層的輸入僅出現一次，下面着重看一下激活函數和權重的影響。

激活函數的影響

以Sigmoid和Tanh爲例，其函數與導數以下（來自連接），

二者的導數均在原點處取得最大值，前者爲0.25後者爲1，在遠離原點的正負方向上，二者導數均趨近於0，即存在飽和區。

• 原點附近：從因子項連乘結果看，Tanh比Sigmoid稍好，其在原點附近的導數在1附近，若是激活函數的輸入均在0左右，偏導連續相乘不會很小也不會很大。而sigmoid就會比較糟糕，其導數最大值爲0.25，連續相乘會使梯度指數級減少，在反向傳播時，對層數越多的網絡，淺層的梯度消失現象越明顯。
• 飽和區：一旦陷入飽和區，二者的偏導都接近於0，致使權重的更新量很小，好比某些權重很大，致使相關的神經元一直陷在飽和區，更新量又接近於0，以至很難跳出或者要花費很長時間才能跳出飽和區。

因此，一個改善方向是選擇更好的非線性激活函數，好比ReLU，相關激活函數以下圖所示，

ReLU只在負方向上存在飽和區，正方向上的導數均爲1，所以相對更少地遭遇梯度消失，但梯度爆炸現象仍然存在。

權重矩陣的影響

假設激活函數爲線性，就像ReLU的正向部分，導數全爲1。則一個簡化版本的全鏈接神經網絡以下圖所示，

假設權重矩陣均爲\(W\)，前向傳播和反向傳播過程均涉及\(W\)（轉置）的反覆相乘，\(t\)步至關於\(W^t\)，若\(W\)有特徵值分解$W=V  diag(\lambda)   V^{-1} $，簡單地，
\[ W^t = (V \ diag(\lambda) \ V^{-1})^t = V \ diag(\lambda)^t \ V^{-1} \]
其中\(diag(\lambda)\)爲特徵值對角矩陣，若是特徵值\(\lambda_i\)不在1附近，大於1通過\(t\)次冪後會「爆炸」，小於1通過\(t\)次冪後會「消失」。

若是網絡初始化時，權重矩陣太小或過大，則在網絡訓練的初始階段就可能遭遇梯度消失或梯度爆炸，表現爲損失函數不降低或者過於震盪。

不良初始化

至此，一些權重不良初始化致使的問題就不難解釋了，

• 太小，致使梯度消失

• 過大，致使梯度爆炸

• 全常數初始化，即全部權重\(W\)都相同，則\(z^{(2)}=W^1 x\)相同，致使後面每一層的輸入和輸出均相同，即\(a\)和\(z\)相同，回到反向傳播的公式，每層的偏導相同，進一步致使每層的權重會向相同的方向同步更新，若是學習率只有一個，則每層更新後的權重仍然相同，每層的效果等價於一個神經元，這無疑極大限制了網絡的能力。

• 特別地，全0初始化，根據上式，若是激活函數\(g(0) = 0\)，如ReLU，則初始狀態全部激活函數的輸入\(z\)和輸出\(a\)都爲0，反向傳播時全部的梯度爲0，權重不會更新，一直保持爲0；若是激活函數\(g(0) \neq 0\)，則初始狀態激活層的輸入爲0，但輸出\(a\neq 0\)，則權重會從最後一層開始逐層向前更新，改變全0的狀態，可是每層權重的更新方向仍相同，同上。

這幾種權重初始化方法對網絡訓練過程的影響，可在Initializing neural networks進行可視化實驗，可觀察權重、梯度和損失的變化，美中不足的是隱藏層的激活函數只有ReLU，不能更換爲Sigmoid、Tanh等，以下所示，

話說回來，因此咱們須要好的網絡初始化方法，以對反向傳播過程當中的梯度有所控制。對反向傳播中梯度加以控制的方法，不止這裏提到的損失函數和權重初始化，還有梯度截斷（gradient clipping）、網絡模型設計方面等方法，由於本文的重點在於權重初始化，對此按下不表。

那麼，合適的網絡初始化方法是什麼呢？咱們下回分解。

參考

• Initializing neural networks
• Deep Learning Best Practices (1) — Weight Initialization
• Complete Guide of Activation Functions
• Vanishing gradient problem
• deep learning book - optimization
• Danger of setting all initial weights to zero in Backpropagation