注意力機制

原文 使用Seq2Seq簡單實現chatbot 深度學習中的注意力機制可以廣義地解釋爲：注意力是一個重要性權重向量。它是輸入和輸出之間的相似度度量，二者相似度越大，則權重取值越大 Seq2Seq (Sutskever, et al. 2014)模型存在的缺陷：固定長度的上下文向量不能記住長句子。 attention在上下文向量（context vector）和整個源輸入之間進行截選，而不是根據解碼

>>阅读原文<<