深度學習激活函數及選擇原則

**一、激活函數：**一種非線性變換函數。 1、ReLU函數：ReLU(x)=max(x,0) ReLU函數只保留正數元素，並將負數元素清零。 函數圖像如下： 函數求導圖像如下： 2、Sigmoid函數：sigmoid(x)=1（1+exp(−x)） 將元素的值變換到0和1之間。 函數圖像如下： 函數求導sigmoid′(x)=sigmoid(x)(1−sigmoid(x))，圖像如下： 3、ta

>>阅读原文<<