【論文閱讀】AlexNet:ImageNet Classification with Deep Covolutional Network

網絡結構 使用ReLU非線性層 作者在網絡結構中使用了ReLU作爲非線性激活層來代替當時比較常用的tanh或sigmoid,加速了網絡的訓練速度,對此作者也做了對比實驗並可視化了結果。 可以看到同樣是下降到0.25的loss rate,ReLU(實現)比tanh(虛線)少用了六倍的時間。 局部響應歸一化(LRN) 由於ReLU不像tanh或sigmoid一樣,輸出有一定範圍,所以需要對其輸出做歸一
相關文章
相關標籤/搜索