NLP預訓練模型3 -- 預訓練任務優化（ERNIE、SpanBERT）

1 背景 前面一篇文章 NLP預訓練模型2 – BERT詳解和源碼分析 中，我們從模型結構、實現源碼、實驗結果等角度，分析了預訓練語言中大名鼎鼎的BERT模型。BERT大幅刷新的GLUE得分，提高了7.7個點之多，甚至有些中文NLP任務上達到了人類水平。那是不是在預訓練模型方面就沒法進行其他創新了呢，答案顯然是否定的。前文中我們也提到了BERT存在的很多缺點，從預訓練任務、模型結構、語料數據、模型

>>阅读原文<<