Attention系列一之seq2seq傳統Attention小結

正如標題所言，本文總結了一下傳統的Attention，以及介紹了在seq2seq模型中使用attention方法的不同方式。 摘要 首先seq2seq分爲encoder和decoder兩個模塊，encoder和decoder可以使用LSTM、GRU等RNN結構，這也是之前transformer沒出來之前常用的經典方法。(主要選取了tensorflow官方教程和pytorch教程的例子作對比來詳細介

>>阅读原文<<