注意力機制並不是關注輸入的位置

問題：注意力機制如果關注的輸入的位置，那麼本來很多模型是就能關注位置信息的，又怎麼需要注意力機制呢？ 比如說：比如說輸入向量每個位置賦予不同的權重，自然內容順序不同，自然就會導致結果不同，位置的作用就顯現了出來； 注意力機制本質上關注的是內容，比如說閱讀一個句子，它的關鍵詞不是由位置決定的，而是由它的內容決定的；關鍵詞可以是任何位置，所以跟位置無關；本質是動態給予每個詞一個權重，進行聚焦，靠的是內

>>阅读原文<<