NLP預訓練模型綜述

時間 2020-12-30

標籤 NLP 筆記简体版

原文原文鏈接

現在深度學習越來越火了，在NLP領域主要使用CNNs、RNNs、GNNs以及attention機制。儘管這些模型取得了一些成績，但是和CV相比，還是有些差距的，主要原因是大部分NLP任務的監督學習數據很少，而深度學習模型的參數有很多，需要大量的數據纔可以學習好，否則就會發生過擬合現象，這就導致NLP模型一般都是1-3層的淺層神經網絡。近幾年，預訓練模型的出現在NLP領

>>阅读原文<<

1. NLP預訓練模型綜述
2. NLP 預訓練模型綜述
3. NLP預訓練模型1 -- 綜述
4. 預訓練語言模型綜述
5. PTMs| 2020最新NLP預訓練模型綜述
6. NLP預訓練模型綜述：從word2vec, ELMo到BERT
7. NLP預訓練模型
8. ELECTRA: NLP預訓練模型
9. 預訓練綜述
10. NLP預訓練模型3 -- 預訓練任務優化（ERNIE、SpanBERT）
更多相關文章...
• ASP.NET MVC - 模型 - ASP.NET 教程
• PHP PDO預定義常量 - PHP參考手冊
• 委託模式
• Kotlin學習（二）基本類型

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。