神經網絡中激活函數的真正意義

激活函數的意義是「讓神經網絡具備強大的擬合能力」。 Google Brain[10] 的這篇文章裏基於RL對激活函數進行了搜索，包括很多一元函數和二元函數的組合：最終發現了一些表現最好的激活函數：在搜索過程中，他們發現表現比較好的激活函數都比較簡單（由兩個以內的單元組成）且由原始輸入x組合成（即b(x, g(x))）。同時，它們都是光滑的（與ReLU不同），而且有些並不是單調的（比如表現最好的Sw

>>阅读原文<<