Transformer

Transformer裏最爲核心的機制是Self-attention. 輸入爲句子的矩陣，先分別通過三個全連接矩陣將輸入矩陣變化爲三個矩陣，分別爲Q, K和V，然後通過Q和K的計算得到一些權值，將這些權值加權求和到V矩陣上，便可以得到一個新的矩陣表示。 Self-attention機制中的多頭機制便是將這樣的操作分別進行多次，這樣能讓句子的表徵充分學習到不同的側重點，最終將這些多頭學習出來的表徵c

>>阅读原文<<