用最少的公式看懂Attention機制原理

Attention Encoder-Decoder模型 enco-deco模型是seq2seq任務的一種實現方式，比如在英翻中任務中，encoder模塊用來編碼一句英文句子，在最後一個時刻用一個context-vector存儲整句話的信息。 在decoder部分，通過context-vector解碼出每個時刻對應的中文單詞。 因爲這一結構，encoder-decoder有一些固有的弊端： 1: c

>>阅读原文<<