REALM: Retrieval-Augmented Language Model Pre-Training

REALM: Retrieval-Augmented Language Model Pre-Training 從ELMO、BERT和GPT到如今多種多樣的預訓練模型的橫空出世，pre-training + fine-tune逐漸成爲了NLP中建模的新範式，衆多研究人員也不斷的針對於Transformer和預訓練做出改進，其中包括對Transformer本身結構的改進、預訓練策略的調整、預訓練結合多

>>阅读原文<<