深度學習——attention機制

一、序列編碼 目前主流的處理序列問題像機器翻譯，文檔摘要，對話系統，QA等都是encoder和decoder框架， 編碼器：從單詞序列到句子表示 解碼器：從句子表示轉化爲單詞序列分佈   1、第一個基本的思路是 RNN 層 RNN 的方案很簡單，遞歸式進行： 但是，這種方式會有一個問題：對於長句子的翻譯會造成一定的困難，而attention機制的引入可以解決這個問題。（爲什麼引入注意力模型？因爲沒

>>阅读原文<<