【AI不惑境】殘差網絡的前世今生與原理

在深度學習模型發展史中，殘差網絡因其簡單而有效的結構與異常有效的結果而佔據了非常重要的位置，今天就來仔細說說它的來龍去脈。 1 殘差網絡之前的歷史 殘差連接的思想起源於中心化，在神經網絡系統中，對輸入數據等進行中心化轉換，即將數據減去均值，被廣泛驗證有利於加快系統的學習速度。 Schraudolph[1]將這樣的思想拓展到了梯度的反向傳播中，不僅是輸入和隱藏層單元的激活值要中心化，梯度誤差以及權重

>>阅读原文<<