Attention在NLP領域的一些知識點

先簡單記錄一下基礎的知識點，閱讀完綜述《Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing》後會更新。 1、Attention 簡介 Attention可以理解爲一種文本聚焦的方法，基本思想是對單詞的embedding分配不同的權重，把注意力集中在相關的文本內容

>>阅读原文<<