深度學習筆記（7）：幾種常見的激活函數介紹，以及爲什麼必須要使用非線性函數作爲激活函數

當前主流的激活函數主要有四種 ReLU 線性整流函數（Rectified Linear Unit, ReLU），又稱修正線性單元，是一種人工神經網絡中常用的激活函數（activation function），通常指代以斜坡函數及其變種爲代表的非線性函數。 很顯然，在正區域內，斜率爲1，在負區域內，斜率爲0，在零處，（發生概率極小），自行定義即可。 提出ReLU那篇論文，我記得是在11年發表的，號稱

>>阅读原文<<