BERT-wwm、RoBERTa-wwm、SpanBERT、ERNIE2

BERT-wwm、RoBERTa、SpanBERT、ERNIE2 BERT-wwm/RoBERTa-wwm wwm是Whole Word Masking（對全詞進行Mask）。簡單來說，原有基於WordPiece的分詞方式會把一個完整的詞切分成若干個子詞，在生成訓練樣本時，這些被分開的子詞會隨機被mask。 在全詞Mask中，如果一個完整的詞的部分WordPiece子詞被mask，則同屬該詞的其他

>>阅读原文<<