Attention 一綜述

近年來，注意力（Attention）機制被廣泛應用到基於深度學習的自然語言處理(NLP)各個任務中。隨着注意力機制的深入研究，各式各樣的attention被研究者們提出，如單個、多個、交互式等等。去年6月，google機器翻譯團隊在arXiv上的《Attention is all you need》論文受到了大家廣泛關注，其中，他們提出的自注意力（self-attention）機制和多頭（mult

>>阅读原文<<