Attention機制的本質思想

上述內容就是經典的Soft Attention模型的基本思想，那麼怎麼理解Attention模型的物理含義呢？一般在自然語言處理應用裏會把Attention模型看作是輸出Target句子中某個單詞和輸入Source句子每個單詞的對齊模型，這是非常有道理的。 目標句子生成的每個單詞對應輸入句子單詞的概率分佈可以理解爲輸入句子單詞和這個目標生成單詞的對齊概率，這在機器翻譯語境下是非常直觀的：傳統的統計

>>阅读原文<<