pytorch之深度殘差網絡(ResNet)

pytorch之深度殘差網絡(ResNet) 一.殘差塊 殘差核心公式:H(x) = F(x)+X,Y = Relu(H(x)),其中F(x)就是所謂的殘差,X是通過短連接直接映射過來的,X前的係數爲1是通過測試之後發現係數如果大於1或小於1會發生梯度消失或者爆炸的情況,所有等於1是OK的。 二.從代碼角度理解殘差塊 注意:單單一層的殘差塊並不能起到提升作用,所以一般的殘差塊往往有兩層或者更多。
相關文章
相關標籤/搜索