Transformer
Transformer裏最爲核心的機制是Self-attention. 輸入爲句子的矩陣，先分別通過三個全連接矩陣將輸入矩陣變化爲三個矩陣，分別爲Q, K和V，然後通過Q和K的計算得到一些權值，將這些權值加權求和到V矩陣上，便可以得到一個新的矩陣表示。 Self-attention機制中的多頭機制便是將這樣的操作分別進行多次，這樣能讓句子的表徵充分學習到不同的側重點，最終將這些多頭學習出來的表徵c
相關文章
- 1. transformer詳解：transformer/ universal transformer/ transformer-XL
- 2. 【Transformer】圖解 Transformer
- 3. transformer
- 4. Transformer
- 5. Transformer++
- 6. 學習Transformer（The Illustrated Transformer）
- 7. Transformer & Bert
- 8. 讀Transformer
- 9. Transformer LambdaNetworks
- 10. Star-Transformer
- 更多相關文章...
- • RxJava操作符（十）自定義操作符
- • ☆基於Java Instrument的Agent實現
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
