Attention注意力機制的前世今身

©PaperWeekly 原創 · 作者｜馬敏博 學校｜西南交通大學碩士生 研究方向｜命名實體識別 總體介紹 注意力機制（Attention Mechanism）最早應用 CV 任務上 ，但最初的論文引用，作者沒有找到，如有知曉的，還望在評論中給出。在 NLP 中的最早應用，應該是文獻 [1]，機器翻譯中對齊與翻譯聯合學習。 直觀地說，注意力機制是衡量重要性權重的向量，或元素之間相關性的表示。 先

>>阅读原文<<