bert
1. 概述 通過預訓練語言表徵完成NLP任務主要分爲兩大類：feature-base、fine-tuning。前者如ELMo，它將學習的表徵作爲feature提供給下面的任務，下游任務提供模型；後者如Open GPI、ULMFiT，它們在fine tune預訓練中學習到參數，不需要下游提供task-specific的模型。這兩類在預訓練時都使用了同樣的目標函數，同時也都使用了單向的語言模型。 這些
相關文章
- 1. BERT家族：sentence-BERT
- 2. BERT家族：K-BERT
- 3. BERT家族：BERT-WWM
- 4. BERT
- 5. Bert
- 6. BERT家族：族長BERT
- 7. BERT 服務化 bert-as-service
- 8. NLP---BERT
- 9. Task10 BERT
- 10. Transformer & Bert
- 更多相關文章...
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. BERT家族：sentence-BERT
- 2. BERT家族：K-BERT
- 3. BERT家族：BERT-WWM
- 4. BERT
- 5. Bert
- 6. BERT家族：族長BERT
- 7. BERT 服務化 bert-as-service
- 8. NLP---BERT
- 9. Task10 BERT
- 10. Transformer & Bert