《Attention Is All You Need 》閱讀筆記

Attention Is All You Need 閱讀筆記 Introduction   本文是谷歌發表的文章，針對nlp裏的機器翻譯問題，提出了一種被稱爲」Transformer」的網絡結構，基於注意力機制。文章提出，以往nlp裏大量使用RNN結構和encoder-decoder結構，RNN及其衍生網絡的缺點就是慢，問題在於前後隱藏狀態的依賴性，無法實現並行，而文章提出的」Transforme

>>阅读原文<<