一文詳解Attention機制

Attention機制 我們知道Seq2Seq模型有一個缺點就是句子太長的話encoder會遺忘，那麼decoder接受到的句子特徵也就不完全，我們看一下下面這個圖，縱軸BLUE是機器翻譯的指標，橫軸是句子的單詞量，我們可以看出用了attention之後模型的性能大大提升。 用了注意力機制，Decoder每次更新狀態的時候都會再看一遍encoder所有狀態，還會告訴decoder要更關注哪部分，這

>>阅读原文<<