Google提出的新型激活函數:Swish

原文地址 簡介 Swish是Google在10月16號提出的一種新型激活函數,其原始公式爲:f(x)=x * sigmod(x),變形Swish-B激活函數的公式則爲f(x)=x * sigmod(b * x),其擁有不飽和,光滑,非單調性的特徵,而Google在論文中的多項測試表明Swish以及Swish-B激活函數的性能即佳,在不同的數據集上都表現出了要優於當前最佳激活函數的性能. 論文地址:

>>阅读原文<<