谷歌大腦自門控激活函數Swish

最近谷歌大腦公佈了一個新的激活函數，叫做  Swish 激活函數。這個函數非常的有趣，很多人都把它應用到一些小的神經網絡和大的神經網絡中去測試它的性能。所以，我也打算去 kaggle 上面測試一些這個函數的性能如何。 Swish 激活函數的數學公式非常的簡單，即 f(x) = x * sigmoid(x) 。根據谷歌大腦的論文，該激活函數的性能比 ReLU 激活函數的性能要好很多。 目前使用最廣泛

>>阅读原文<<