[NLP學習筆記-Task9] Attention原理 + HAN原理

RNN、CNN中獲取全局信息的缺陷 Attention Attention定義 Google 的一般化 Attention 思路也是一個編碼序列的方案，因此我們也可以認爲它跟 RNN、CNN 一樣，都是一個序列編碼的層。 Google 給出的方案是很具體的。首先，它先把 Attention 的定義給了出來： Multi-Head Attention 這個是 Google 提出的新概念，是 Atte

>>阅读原文<<