谷歌大腦提出新型激活函數Swish惹爭議：可直接替換並優於ReLU？（附機器之心測試）

近日，谷歌大腦團隊提出了新型激活函數 Swish，團隊實驗表明使用 Swish 直接替換 ReLU 激活函數總體上可令 DNN 的測試準確度提升。此外，該激活函數的形式十分簡單，且提供了平滑、非單調等特性從而提升了整個神經網絡的性能。 在該論文中，谷歌大腦團隊所提出了 Swish 激活函數：f(x) = x · sigmoid(x)，並通過基線實驗表明其在絕大多數環境中可以替代當前比較流行的 Re

>>阅读原文<<