NLP——機器翻譯中的Attention

文章目錄 框架 簡介 相關性計算 框架 簡介 Encoder-Decoder模型雖然非常經典，但是侷限性也非常大。最大的侷限性就在於編碼和解碼之間的唯一聯 系就是一個固定長度的語義向量C。也就是說，編碼器要將整個序列的信息壓縮進一個固定長度的向量中。但是這樣做有兩個弊端，一是語義向量無法完全表示整個序列的信息，二是先輸入的內容攜帶的信息會被後輸入 的信息稀釋掉。輸入序列越長，這個現象就越嚴重。這就

>>阅读原文<<