resnet

ResNets 非常非常深的神經網絡是很難訓練的，因爲存在梯度消失和梯度爆炸問題。ResNets是由殘差塊（Residual block）構建的，首先解釋一下什麼是殘差塊。 這是一個兩層神經網絡，在 層進行激活，得到 ，再次進行激活，兩層之後得到 。計算過程是從 開始，首先進行線性激活，根據這個公式： ，通過 算出 ，即 乘以權重矩陣，再加上偏差因子。然後通過ReLU非線性激活函數得到 ， 計算得

>>阅读原文<<