Transformer中的Layer和heads到底是什麼？
上圖是Transformer中編碼器的部分，谷歌發佈的BERT模型中有一個是chinese_L-12_H-768_A-12 分別表示的意思是： 12個transformer-block(也稱爲12層) 768 embedding-dimension(字向量)的維度=768 12注意力機制頭的個數
相關文章
- 1. 什麼是Heads-up displays（HUD）
- 2. 什麼是 Transformer
- 3. 「中臺」到底是什麼？
- 4. Kubernetes中的Pod的到底是什麼？
- 5. 張俊林：BERT和Transformer到底學到了什麼 | AI ProCon 2019
- 6. Vmnet1和VMnet8到底是幹什麼的
- 7. $(this) 中的this 到底是指什麼
- 8. ZigBee到底是什麼？有什麼用？
- 9. ESB和SOA到底是什麼？
- 10. PD-1和PD-L1到底是什麼？
- 更多相關文章...
- • Hibernate是什麼 - Hibernate教程
- • MyBatis是什麼 - MyBatis教程
- • C# 中 foreach 遍歷的用法
- • 適用於PHP初學者的學習線路和建議
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
