不得不瞭解的五種Attention模型方法及其應用

本文基於幾篇經典的論文，對 Attention 模型的不一樣結構進行分析、拆解。 git 先簡單談一談 attention 模型的引入。以基於 seq2seq 模型的機器翻譯爲例，若是 decoder 只用 encoder 最後一個時刻輸出的 hidden state，可能會有兩個問題（我我的的理解）。github 1. encoder 最後一個 hidden state，與句子末端詞彙的關聯較大

>>阅读原文<<