attention各種形式總結

attention 總結 參考：注意力機制（Attention Mechanism）在自然語言處理中的應用 Attention函數的本質可以被描述爲一個查詢（query）到一系列（鍵key-值value）對的映射，如下圖。 在計算attention時主要分爲三步: 第一步是將query和每個key進行相似度計算得到權重，常用的相似度函數有點積，拼接，感知機等； 第二步一般是使用一個softmax函

>>阅读原文<<