通俗易懂了解attention機制

attention其實很簡單，比如有翻譯: 我喜歡游泳->I like swimming 那麼在翻譯的時候可以這樣,也就是越靠近相對應的詞，我越注意，影響也就越大 i = f(0.7(「我」),0.2(「喜歡」)+0.1(「游泳」)) like = f(0.2(「我」),0.6(「喜歡」)+0.2(「游泳」)) swimming = f(0.1(「我」),0.2(「喜歡」)+0.7(「游泳」))

>>阅读原文<<