神經網絡中激活函數的真正意義

激活函數的意義是「讓神經網絡具有強大的擬合能力」。 Google Brain[10] 的這篇文章裏基於RL對激活函數進行了搜索，包括不少一元函數和二元函數的組合：最終發現了一些表現最好的激活函數：在搜索過程當中，他們發現表現比較好的激活函數都比較簡單（由兩個之內的單元組成）且由原始輸入x組合成（即b(x, g(x))）。同時，它們都是光滑的（與ReLU不一樣），並且有些並非單調的（好比表現最好的S

>>阅读原文<<