經典模型梳理：AlexNet

AlexNet 關於 Alex 的傳說……大家隨便聽個報告都會講到，這裏就不說了。本文主要目的是爲自己梳理知識 ReLU Dropout 網絡結構 ReLU Nonlinearity 激活函數是從 Sigmoid 到 tanh 到 ReLU 的，最初用 Sigmoid 存在三個問題 Saturated neurons 「kill」 the gradients. 當輸入 x=0 時，梯度爲0.25，

>>阅读原文<<