經典論文研讀:ImageNet Classification with Deep Convolutional Neural Networks

一、閱讀筆記 Alex 的這篇經典論文提出了一下幾點重要創新: ReLU 激活函數 Relu可以加速訓練過程,性能損失很小。深卷積神經網絡與ReLUs訓練的速度比與 t a n h tanh tanh單位相當的神經網絡快幾倍。所以,AlexNet中所有的層都採用ReLU作爲激活函數。 局部響應歸一化 每層的輸出,做歸一化處理。原文用下面的公式實現歸一化: 這個有些不好理解,我舉個簡單例子,假設通道
相關文章
相關標籤/搜索