ResNet學習筆記

最大亮點：採用殘差連接解決梯度消失和網絡退化問題 卷積神經網絡依靠堆疊更深的層數能夠有很大的性能提升，但是當深度超過一定範圍後，會出現梯度消失的問題，網絡的性能會迅速惡化。 殘差連接結構： 設輸入爲X，原恆等變換輸出爲H(X)。當採用殘差連接時，X經過堆疊的非線性轉換層（可以堆疊多層）後，得到殘差F(X)，然後將F(X）+X代替原H(X）作爲輸出。總體來說，殘差層沒有增加新的參數，不會導致計算量的

>>阅读原文<<