self-attention計算過程

概念 self-attention從字面上看，就是自己對自己的注意力。 瞭解過注意力機制的都知道Q，K，V，在self-attention中，Q，K，V是相同的字嵌入X乘以訓練得到的權重得到的。 它也符合注意力機制的計算過程，主要分爲以下三部分計算 階段一 對輸入的單詞進行詞嵌入得到X，X分別與權重計算得到了Q（查詢向量）,K（鍵向量）,V（值向量） 得到Q，K，V之後，再計算得分，假設我們在爲這

>>阅读原文<<