【筆記】Attention Is All You Need

Introduction 本文是谷歌發表的文章，針對nlp裏的機器翻譯問題，提出了一種被稱爲」Transformer」的網絡結構，基於注意力機制。文章提出，以往nlp裏大量使用RNN結構和encoder-decoder結構，RNN及其衍生網絡的缺點就是慢，問題在於前後隱藏狀態的依賴性，無法實現並行，而文章提出的」Transformer」完全摒棄了遞歸結構，依賴注意力機制，挖掘輸入和輸出之間的關係，

>>阅读原文<<