AlexNet論文總結

1.Relu激活函數的使用 使用ReLU激活函數，要比使用常用的的費線性激活函數如sigmoid，tanh等函數，網絡的訓練速度要快上好幾倍。 ReLU函數爲什麼可以提高訓練速度？ 一下內容借鑑了Physcal博客ReLU激活函數 傳統sigmoid函數的特點（logistic-sigmoid。tanh-sigmoid） 從圖上看，非線性的sigmoid的函數對中央區的信號增益較大，兩側的信息增益

>>阅读原文<<