激活函數（3）ReLU、softplus激活函數

Relu激活函數（The Rectified Linear Unit）, 用於隱層神經元輸出。公式如下                                                                                             Relu函數及其導數的圖像如下圖所示： ReLU函數其實就是一個取最大值函數，注意這並不是全區間可導的，但是我們

>>阅读原文<<