深度學習中 的 Attention機制

注意力機制即 Attention mechanism在序列學習任務上具有巨大的提升作用,在編解碼器框架內,通過在編碼段加入Attention模型,對源數據序列進行數據加權變換,或者在解碼端引入Attention 模型,對目標數據進行加權變化,可以有效提高序列對序列的自然方式下的系統表現。 Attention: Attention模型的基本表述可以這樣理解成: 當我們人在看一樣東西的時候,我們當前時
相關文章
相關標籤/搜索