Attention Is All You Need簡析

Attention Is All You Need 介紹 文章提出的transformer，使用注意力機制，對於資源的要求更低，卻一樣能達到state-of-the-art的效果。html 總體框架 Encoder Encoder由6個相同的層組成，每層都有兩個子層，一個是self-attetion機制，一個是全鏈接的前向網絡。在子層之間也使用了殘差鏈接與layer nomalization。we

>>阅读原文<<