attention機制

1. 機器翻譯attention 在seq2seq結構中，針對一個樣本，decoder的每個輸入（字向量）都是encoder的最後一個詞的輸出。attention機制企圖達到以下目的：以將「機器學習」翻譯成machine learning爲例。decoder中第一次只想關注機器，從而翻譯成machine；第二次只想關注學習，並翻譯成learning。因此，decoder中每個輸入（字向量）都是不一

>>阅读原文<<