Attention Is All You Need簡析

Attention Is All You Need 介紹 文章提出的transformer，使用注意力機制，對於資源的要求更低，卻同樣能達到state-of-the-art的效果。 整體框架 Encoder Encoder由6個相同的層組成，每層都有兩個子層，一個是self-attetion機制，一個是全連接的前向網絡。在子層之間也使用了殘差連接與layer nomalization。 Decod

>>阅读原文<<