AlexNet論文

Response Normalization用於1，2層，Maxpooling層用於1，2，5，Relu用於所有層 1、作者使用ReLu，大大加快了訓練速度，數倍於saturating neurons，如tanh,sigmoid 2、使用Local Response Normalization 3、使用Overlapping Pooling stride=3,size=2 防止過擬合： 爲防止過擬

>>阅读原文<<