NLP中的各種Attention機制

Attention機制是在Seq2Seq模型的基礎上被提出來的，Seq2Seq通過encoder拿到（輸入）文本信息的context向量（矩陣）。Attention機制讓decoder部分更加關注與當前時刻相關性最高的item。因此，在回顧Attention機制之前，需要先回顧一下Seq2Seq（即Encoder-Decoder）模型。 Seq2Seq（Encoder-Decoder） 在此前的博

>>阅读原文<<