注意力機制與ReLU激活函數：自適應參數化ReLU激活函數

本文首先回顧了一些傳統的激活函數和注意力機制，然後解讀了一種「注意力機制下的激活函數」，也就是自適應參數化修正線性單元（Adaptively Parametric Rectifier Linear Unit，APReLU）。 1.激活函數 激活函數是神經網絡的核心組成部分之一，其作用是進行人工神經網絡的非線性化。我們首先回顧一些最爲常見的激活函數，包括Sigmoid激活函數、Tanh激活函數和Re

>>阅读原文<<