AlexNet創新點

AlexNet主要使用到的新技術點以下。網絡 （1）成功使用ReLU做爲CNN的激活函數，並驗證其效果在較深的網絡超過了Sigmoid，成功解決了Sigmoid在網絡較深時的梯度彌散問題。雖然ReLU激活函數在好久以前就被提出了，可是直到AlexNet的出現纔將其發揚光大。函數 （2）訓練時使用Dropout隨機忽略一部分神經元，以免模型過擬合。Dropout雖有單獨的論文論述，可是AlexNet

>>阅读原文<<