RNN神經網絡的梯度消失和梯度爆炸

時間序列的反向傳播算法
得到：
$\frac{\partial h_t}{\partial h_s} = \frac{\partial h_t}{\partial h_{t-1}} \frac{\partial h_{t-1}}{\partial h_{t-2}} ... \frac{\partial h_{s+1}}{\partial h_{s}}$∂hs​∂ht​​=∂ht−1​∂ht​​∂ht−2​∂ht−1​​...∂hs​∂hs+1​​

注意到：
$h_t=Wf(h_{t-1})+Ux_t$ht​=Wf(ht−1​)+Uxt​

計算jacobian 矩陣
$\frac{\partial h_t}{\partial h_s} = \prod^t_{k=s+1}W^Tdiag[f^{'}(Wh_{k-1})]$∂hs​∂ht​​=∏k=s+1t​WTdiag[f′(Whk−1​)]

根據柯西-西瓦茲不等式
$\frac{\partial h_t}{\partial h_{t-1}} \leq ||W^T||||diag[f^{'}(Wh_{t-1})]|| \leq \sigma_{max} \gamma$∂ht−1​∂ht​​≤∣∣WT∣∣∣∣diag[f′(Wht−1​)]∣∣≤σmax​γ

$\sigma_{max}$σmax​是 $W^T$WT矩陣的最大奇異值, $\gamma$γ是 $||diag[f^{'}(Wh_{t-1})]||$∣∣diag[f′(Wht−1​)]∣∣上界， $\gamma$γ依賴激活函數f， $|tanh(x)^{'}|\leq 1$∣tanh(x)′∣≤1, $\sigma(x)^{'} \leq \frac{1}{4}$σ(x)′≤41​
所以
$\frac{\partial h_t}{\partial h_s} = \frac{\partial h_t}{\partial h_{t-1}} \frac{\partial h_{t-1}}{\partial h_{t-2}} ... \frac{\partial h_{s+1}}{\partial h_{s}} \leq (\sigma_{max}\gamma)^{t-s}$∂hs​∂ht​​=∂ht−1​∂ht​​∂ht−2​∂ht−1​​...∂hs​∂hs+1​​≤(σmax​γ)t−s
由於參數共享 $W$W，RNN存在梯度消失或者梯度爆炸。

解決辦法：

梯度爆炸：

• 權重懲罰 Weight Penalty （不work）
  $||W||_2 \leq I$∣∣W∣∣2​≤I
  不足：
  （1）W約束比較小的範圍內，建模不足
  （2）信息比較快的衰減（梯度消失）
  （3）沒辦法長時序的建模

• 梯度裁剪Gradient Clipping (work)

高曲率牆的存在造成了困難
虛線：當範數高於一個值的時候，梯度重新表定爲固定的打小，引入了額外的裁剪。

其他的方法：
當W是正交矩陣的時候， $W^TW=I$WTW=I,
$(W^Tv)^T(W^Tv) = v^TWW^Tv = v^Tv$(WTv)T(WTv)=vTWWTv=vTv 初始化的時候W可以是正交的矩陣，但是訓練的時候W會發生變化，無法保證是正交矩陣。