自然語言處理中的Attention機制

Attention機制的理解 Attention機制也就是注意力機制,在自然語言處理中,就是對於一個語言序列的不同的部分給予不同的注意力,在數學上一般表現爲權重,也就是對一個語言序列的各個元素加權。 對Attention機制給一個通用的定義:給定一組向量集合values,以及一個向量query,attention機制是一種根據該query計算values的加權求和的機制。這個定義來源於cs224n
相關文章
相關標籤/搜索