激活函數層

激活函數層 飽和函數：sigmoid\tanh （飽和函數應該是說輸入達到一定的值以後，輸出就不再變化了，飽和了） 梯度消失沒有sigmoid那麼嚴重，但是如果在幾十上百層的網絡上，又會變的不明顯 非飽和函數ReLU 負半軸會導致神經元死亡

>>阅读原文<<