注意力機制概念和框架

注意力機制概念 在之前學習encoder-decoder模型時，我們瞭解了模型的原理是，輸入source（要翻譯的語句），由encoder先將句子編碼成隱藏的語義編碼C，再輸入進decoder中。但是我們看到目標句子Target中每個單詞的生成過程如下： f是decoder的非線性變化函數。從這裏可以看出，在生成目標句子的單詞時，不論生成哪個單詞，它們使用的輸入句子Source的語義編碼C都是一樣

>>阅读原文<<