Resnet中的殘差連接

  1 Skip Connect 想必做深度學習的都知道skip connect，也就是殘差連接，那什麼是skip connect呢？如下圖 上面是來自於resnet【1】的skip block的示意圖。我們可以使用一個非線性變化函數來描述一個網絡的輸入輸出，即輸入爲X，輸出爲F(x)，F通常包括了卷積，激活等操作。 當我們強行將一個輸入添加到函數的輸出的時候，雖然我們仍然可以用G(x)來描述輸入

>>阅读原文<<