深度學習經典網絡--學習筆記

AlexNet: （1）成功使用Relu做爲CNN的激活函數，並驗證其效果在較深的網絡中超過了sigmoid，成功解決了Sigmoid在網絡較深時的梯度彌散問題。 （2）使用了Dropout，避免過擬合 （3）在CNN中使用重疊的最大池化。此前CNN中廣泛使用平均池化。且提出了讓步長比池化核的尺寸小，這樣池化層的輸出之間會有重疊和覆蓋，提高了特徵的豐富性。 （4）提出了LRN(局部響應歸一化層)，

>>阅读原文<<