殘差網絡（ResNet）與稠密連接網絡（DenseNet）

ResNet 殘差塊 讓我們聚焦於神經網絡局部。如圖5.9所示，設輸入爲 𝑥 。假設我們希望學出的理想映射爲 𝑓(𝑥) ，從而作爲圖5.9上方激活函數的輸入。左圖虛線框中的部分需要直接擬合出該映射 𝑓(𝑥) ，而右圖虛線框中的部分則需要擬合出有關恆等映射的殘差映射 𝑓(𝑥)−𝑥 。殘差映射在實際中往往更容易優化。以本節開頭提到的恆等映射作爲我們希望學出的理想映射 𝑓(𝑥) 。我

>>阅读原文<<