pytorch學習 殘差

殘差能很好的解決網絡梯度彌散的問題。 將網絡假設成水管的話，網絡層表示爲閥門，越往後水管的水量越小，加入殘差後，可以理解爲，將水管並行，保證每個閥門都能有足夠多的水量。   殘差實際上是做加法，加入以圖像爲例， pytorch輸入圖片是[n,c,h,w]的張量，經過一層網絡計算後得到的是[n,c',h',w']，如果做張量加法的話必須保證形狀一致，n爲批次不會變化，如果用卷積我們可以設計成我們加一

>>阅读原文<<