深度學習——注意力機制

百度百科：神經注意力機制可以使得神經網絡具備專注於其輸入（或特徵）子集的能力。注意力機制（attention mechanism）是解決信息超載問題的主要手段的一種資源分配方案，將計算資源分配給更重要的任務。核心目標也是從衆多信息中選擇出對當前任務目標更關鍵的信息。 兩個框架的對比：由固定的中間語義表示C換成了根據當前輸出單詞來調整成加入注意力模型的變化的Ci 1.未引入注意力： 2.引入注意力機

>>阅读原文<<