注意力機制的理解（借鑑）

一、Encoder-Decoder框架 如圖是在文本處理領域的Encoder-Decoder框架。 Encoder：對輸入句子進行編碼，通過非線性比變換轉化爲中間語義表示C Decoder：根據中間語義C和之前的歷史信息，生成輸出語句 每個yi都是依次產生的。 二、Soft Attention模型 上圖中展示的Encoder-Decoder框架是沒有體現出"注意力模型"的，可以看作是注意力不集中的

>>阅读原文<<