TensorFlow實戰—ResNet

ResNet：

(1) 152層網絡，ILSVRC2015比賽第一名

(2) Highway Network：

• 神經網絡的深度對其性能很是重要，可是網絡越深訓練難度越大，Highway NetWork容許的目標就是解決極深的神經網絡難以訓練的問題。
• Highway Network至關於修改了每一層的激活函數，此前的激活函數只是對輸入作一個非線性變換，該網絡則容許保留必定比例的原始輸入x。
• 所以前面一層的信息，有必定比例能夠不通過矩陣乘法和非線性變換，直接傳輸到下一層，彷彿一條信息高速公路，所以叫Highway Network。
• Highway Network主要經過gating units學習如何控制網絡中的信息流，即學習原始信息應保留的比例。借鑑了早期LSTM中的gating。
• Highway Network的設計在理論上容許其訓練任意深的網絡，其優化方法基本上與網絡的深度獨立，而傳統的神經網絡結構則對深度很是敏感，訓練複雜度隨深度增長而急劇增長。

(3) ResNet靈感：

• 在不斷加深神經網絡時，會出現一個Degradation的問題，即準確率會上升而後達到飽和，再持續增長深度則會致使準確率降低。
• 這並非過擬合，由於不光在測試集上偏差增大，訓練集自己偏差也會增大。
• 假設有一個比較淺的網絡達到了飽和的準確率，那麼後面再加上幾個y=x的全等映射層，起碼偏差不會增長，即更深的網絡不該該帶來訓練集上偏差上升。

(4)殘差學習單元：

• F(x)=H(x)-x

(5)解決的問題：

• 傳統的卷積層或全鏈接層在信息傳遞時，存在信息丟失、損耗。
• ResNet在某種程度上解決了這個問題，直接將輸入信息繞道傳到輸出，保護信息的完整性，整個網絡則只須要學習輸入和輸出的差異的那個部分，簡化學習目標和難度。

(6) ResNet V2

• 前饋和反饋信號能夠直接傳輸，skip connection的非線性激活函數（如ReLU）替換爲Identity Mappings(y=x)
• ResNet V2在每一層中都使用了Batch Normalization，殘差學習單元更容易訓練且泛化性更強。

(7) others

• ResNet相似沒有gates的LSTM，即將輸入x傳遞到後面的過程是一直髮生的，而不是學習出來的。
• 論文The power of depth for feedforward neural networks從理論上證實加深網絡比加寬網絡更有效。

 

參考資料：

《TensorFlow實戰》黃文堅  唐源 著