Transformer：NLP中RNN的替代方案

RNN應用中存在的問題是，每一個RNN Cell的state都取決於前一個RNN Cell的state，因此RNN很難採用並行計算，計算的速度往往較慢。但是RNN的優勢是，能夠依據attention利用輸入句子的全部信息。所以就有人提出，如果只用attention，不用RNN是否可行，這就是2017年的一篇論文提出的解決方案（原文）。 該神經網絡的優勢是，採用了非Recurrent的Encoder

>>阅读原文<<