預訓練模型（5）---- SpanBERT&RoBERTa&ERNIE2

比較小衆的預訓練模型 1. SpanBERT 2. RoBERTa 3. ERNIE2 本文主要介紹一些比較小衆的預訓練模型，這些模型不像Bert、XLNet等那麼有影響力，都是在這些模型的基礎上做的相關改進工作，但是這些工作可以引導我們學會如何優化模型，對我們的學習以及科研都會有很大的幫助。 首先是Facebook的提出的兩個預訓練模型——SpanBERT和RoBERTa。 1. SpanBER

>>阅读原文<<