ReLU激活函數雜談

在實現多層感知機代碼實現中使用了ReLU激活函數： R e L U ( x ) = m a x ( x , 0 ) ReLU(x)=max(x,0) ReLU(x)=max(x,0) 形狀大概是這樣的 這裏根據幾個問題來進行回答解釋 爲什麼要使用激活函數呢？ 簡單來說激活函數的作用就是將仿射函數進行非線性化，可以擬合出更多的情況。更詳細的解答可以參考知乎激活函數的解釋 ReLU函數的梯度問題 首先

>>阅读原文<<