Transformer【Attention is all you need】

前言 Transfomer是一種encoder-decoder模型，在機器翻譯領域主要就是通過encoder-decoder即seq2seq，將源語言(x1, x2 ... xn) 通過編碼，再解碼的方式映射成（y1, y2 ... ym), 之前的做法是用RNN進行encode-decoder,但是由於RNN在某一時間刻的輸入是依賴於上一時間刻的輸出，所以RNN不能並行處理，導致效率低效，而Tr

>>阅读原文<<