注意力機制學習

Attention 就是對輸入整體的各個部分分配不同的權重，每一個位置的輸出由輸入的不同權重加權求和得到 attention 工作實質： 對應於機器翻譯時 階段 1 ： z z z 對應於 Query， h h h 對應於Key，Q 與 K 進行相似度計算得到權值 階段 2：對於求得的 α \alpha α 進行 softmax 歸一化得到不同權重 階段 3：Attention Value 等於

>>阅读原文<<