attention機制及self-attention(transformer)

最近接觸的項目當中用到了transformer，學習相關知識以後其中一個重要的貢獻就是引入了self-attention機制，瞭解了相關處理過程以後然而並沒引發太多比較。 由於以前就已經有了attention機制，並獲得了普遍的應用且取得了很是好的效果(讀過一篇相關的機器翻譯的文章)。web 在被別人問道二者之間的區別的時候居然卻啞口無言、甚是慚愧。網絡 今天再次把二者拿出來，拜讀知乎大神之做、詳

>>阅读原文<<