ReLU函數

1.非線性激勵函數 引入非線性函數作爲激勵函數，這樣深層神經網絡就有意義了，不再是輸入的線性組合，可以逼近任意函數. 2.選擇ReLU作爲激活函數 Relu函數的定義是： Relu函數圖像如下圖所示： relu函數的作用就是增加了神經網絡各層之間的非線性關係 ReLU函數其實是分段線性函數，把所有的負值都變爲0，而正值不變，這種操作被成爲單側抑制。有了單側抑制，才使得神經網絡中的神經元也具有了稀疏

>>阅读原文<<