論文筆記《Attention Is All You Need》

原文鏈接 本文發表於人工智能頂級會議 NIPS 2017 代碼實現 摘要 現在主流的sequence2sequence的模型都是基於複雜的CNN或RNN結構,目前效果最好的幾個模型都採用了attention機制,本文提出了一種新的簡單的網絡結構,能夠完全拋棄CNN和RNN,只需要使用attention就能夠讓效果變得非常好。 模型 本文模型如下圖所示: 圖中左側灰色區域爲encoder子結構,en
相關文章
相關標籤/搜索