Transformer 筆記總結

transformer這一概念來自於原文attention is all you need 在機器翻譯中，輸入是一個句子，輸出是另一種語言的句子，如下圖所示： 即由編碼組件、解碼組件以及連接層構成，如下圖所示： 其中編碼器由6個編碼器單元構成，解碼器由6個解碼器單元構成，如下圖所示： 其中，編碼器單元結構完全相同，但是不共享參數，由self-attention和feedforward組成，self

>>阅读原文<<