attention model--Neural machine translation by jointly learning to align and translate論文解讀

attention模型基本框圖 上面的兩幅圖已經把attention model表示出來了，下面我再以文字加以描述。 爲什麼需要attention 傳統的encoder-decoder模型大致如下圖所示： 可以看出傳統模型把句子的所有語義信息濃縮爲一箇中間語義C，每一個輸出的y都是利用了同一個C，所以輸出的每個y都利用了相同的語義信息C，輸入的每個單詞對於不同的輸出y都有相同的權重，並沒有引入注意

>>阅读原文<<