注意力機制的兩種形式

注意力機制的兩種形式： 一、additive attention(tensorflow裏面稱爲Bahdanau attention)        這種機制的定義引用了論文https://arxiv.org/pdf/1409.0473.pdf 該注意力機制最顯著的特徵就是Q與K的對齊函數使用了一層神經網絡；   二、第二種機制dot-product attention(multiplicative

>>阅读原文<<