attention表示成k、q、v的方式及self-attention

attention表示成k、q、v的方式: 傳統的attention(sequence2sequence問題)： 上下文context表示成如下的方式（h的加權平均）： 那麼權重alpha（attention weight）可表示成Q和K的乘積，小h即V（下圖中很清楚的看出，Q是大H，K和V是小h）： 上述可以做個變種，就是K和V不相等，但需要一一對應，例如： V=h+x_embedding Q

>>阅读原文<<