attention各類形式總結

attention 總結 參考：注意力機制（Attention Mechanism）在天然語言處理中的應用 Attention函數的本質能夠被描述爲一個查詢（query）到一系列（鍵key-值value）對的映射，以下圖。 在計算attention時主要分爲三步:html 第一步是將query和每一個key進行類似度計算獲得權重，經常使用的類似度函數有點積，拼接，感知機等； 第二步通常是使用一個s

>>阅读原文<<