Attention機制

在機器翻譯領域中，Attention機制是從機器視覺領域首先提出的。其直覺是當人們觀察事物時，人們總是將注意力放在關注的事物上，而不是看的所有畫面。 爲了更好地解釋Attention機制的作用，我們引入機器翻譯任務中的問題。在機器翻譯任務中，人們發現，RNN對短的句子總是有很好的翻譯效果，而長句子的翻譯效果則不盡如人意，這是因爲即使是LSTM也只能記住大約30個詞。我們可以從這樣一個方面考慮，如下

>>阅读原文<<