transformer模型

1、模型提出的背景，現有模型的不足編碼 原來的RNN模型中，經過輸入一個序列，再輸出一個序列，序列的輸出是有前後順序的，說明RNN不能被並行化；3d RNN不能並行，CNN能夠，可是CNN不能捕捉長句子的上下文，因而有了self-attention。orm 2、模型改進的核心點在哪裏blog transformer與bi-rnn有一樣的能力，每個輸出都看過整個輸入序列io 可是，輸出的序列是同時計

>>阅读原文<<