ReLU激活函數的非線性性質

ReLU激活函數的非線性性質 本文節選自學習筆記（四），單獨探討ReLU激活函數的非線性性，並進行數學說明。 非線性激活函數：同一般的神經網絡相同，採用非線性激活函數能夠使網絡全過程訓練擺脫單一的線性關係，讓feature map獲得的特徵更加符合現實。在大部分CNN網絡架構當中，採用ReLU函數作爲激活函數，ReLU函數表示如下： R e L U = { x , if  x   >  0 0 ,

>>阅读原文<<