dropout與典型神經網絡

‘                           ResNet中用到了參差網絡，這個的目的是避免梯度彌散。因爲如果沒有參差網絡得話，那麼神經網絡可以理解爲一個嵌套得函數，G(k(M(N(X))))，在梯度回傳得時候，如果有哪個嵌套函數是個豬隊友，其爲0，那麼前面得層根本得不到訓練，使得訓練深層次的網絡成爲一個很難實現的問題。如果加入了參差網絡，就不至於出現梯度彌散的問題，因爲多加了一個x。就

>>阅读原文<<