【20191002】Attention詳細解讀

轉載自阿里巴巴工程師楠易 前言 Attention 自2015年被提出後，在 NLP，圖像領域遍地開花。Attention 賦予模型區分辨別能力，從紛繁的信息中找到應當 focus 的重點。2017年 self attention 的出現，使得 NLP 領域對詞句 representation 能力有了很大的提升，整個 NLP 領域開啓了全面擁抱 transformer 的年代。 1. 什麼是 A

>>阅读原文<<