AlexNet 《ImageNet Classification with Deep Convolutional Neural Networks》學習筆記

AlexNet的主要結構 總共包含8層學習層：5層卷積層和三層全連接層 下面介紹了幾個重要的網絡結構： 1.ReLU Nonlinearity 相比較於f(x) = tanh(x) 或者 f(x) = (1 + e^-x)^-1這樣的飽和非線性（這兩個函數在 -1,1 和 0,1附近接近飽和），對於隨機梯度下降的方法，f(x) = max(0; x) 也就是ReLU要比兩者快很多，下圖是一個對比圖

>>阅读原文<<