解決梯度消失和梯度爆炸的ResNets

！非常非常深的網絡是很難訓練的，因爲存在梯度消失和梯度爆炸的問題，利用跳遠連接構建能夠訓練深度網絡的ResNets，有時深度可能超過一百層。ResNets是由殘差塊構建的，什麼是殘差塊呢？ 這裏的g是指Relu非線性函數，信息流從a[l]—>a[l+2]需要經過以上所有步驟，在殘差網絡中有一點變化：我們將a[l]直接拷貝到神經網絡的深層，在線性**之後，Relu非線性**之前加上a[l]，這使a[

>>阅读原文<<