attention如何在編解碼器循環神經網絡中起作用

Attention是一種機制，旨在提高編碼器-解碼器RNN在機器翻譯上的性能。 Encoder-Decoder Model 該模型由兩個子模型組成：編碼器和解碼器。 編碼器：編碼器負責逐步執行輸入時間步長，並將整個序列編碼爲稱爲上下文向量的固定長度向量。 解碼器：解碼器負責在從上下文向量中讀取時逐步完成輸出時間步長。 我們提出了一種新穎的神經網絡體系結構，該體系結構學習將可變長度序列編碼爲固定長度

>>阅读原文<<