理解Attention機制原理及模型

寫在前面 目前採用編碼器-解碼器 (Encode-Decode) 結構的模型非常熱門，是因爲它在許多領域較其他的傳統模型方法都取得了更好的結果。這種結構的模型通常將輸入序列編碼成一個固定長度的向量表示，對於長度較短的輸入序列而言，該模型能夠學習出對應合理的向量表示。然而，這種模型存在的問題在於：當輸入序列非常長時，模型難以學到合理的向量表示。這個問題限制了模型的性能，尤其當輸入序列比較長時，模型的

>>阅读原文<<