RNN-Encoder Decoder架構中引入的注意力機制

一.簡介     注意力機制是在Encoder與Deconder架構中針對輸出不同的序列（分詞）在輸入序列中所佔權重一樣，或者使用同一個C向量的不足中，引入了能夠學習針對不同輸出序列在不同輸入序列所佔的比重不同的一個機制，例如，「我喜歡足球」與「i like football」這個翻譯中，‘i’這個詞的翻譯明顯與「我」這個輸入詞對應，與後面「喜歡足球」的關係不大，因此，這種注意力機制能夠明顯的提升

>>阅读原文<<