殘差網絡resnet詳解

1 產生背景 網絡的深度對於特徵提取具有至關重要的作用,實驗證得,如果簡單的增加網絡深度,會引起退化問題[Degradation問題],即準確率先上升然後達到飽和,再持續增加深度會導致準確率下降。該實驗說明了深度網絡不能很好地被優化,也就是優化器很難去利用多層網絡擬合函數。 這就產生了一個衝突,即需要多層網絡,但多層網絡又很難擬合函數,故提出了殘差網絡。 2 解決退化問題 假如目前有一個可以工作的
相關文章
相關標籤/搜索