Bert
每個block的參數不共享，獨立學習 介紹了Transformer，下一個就是Bert，一個巨大成功的預訓練模型，上圖 Bert全名爲Bidirectional Encoder Representations from Transformers，E1...En是單個字或者詞，大部分都是字爲單位，Trm是一個transformer，T1...Tn是最終計算的隱藏層。因爲再注意力矩陣中每個詞都能學習到
相關文章
- 1. BERT家族：sentence-BERT
- 2. BERT家族：K-BERT
- 3. BERT家族：BERT-WWM
- 4. BERT
- 5. bert
- 6. BERT家族：族長BERT
- 7. BERT 服務化 bert-as-service
- 8. NLP---BERT
- 9. Task10 BERT
- 10. Transformer & Bert
- 更多相關文章...
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. BERT家族：sentence-BERT
- 2. BERT家族：K-BERT
- 3. BERT家族：BERT-WWM
- 4. BERT
- 5. bert
- 6. BERT家族：族長BERT
- 7. BERT 服務化 bert-as-service
- 8. NLP---BERT
- 9. Task10 BERT
- 10. Transformer & Bert