論文閱讀筆記：《自然語言處理中的預訓練模型》

Pre-trained Models for Natural Language Processing: A Survey 寫在前面： 隨着2018年ELMo、BERT等模型的發佈，NLP領域進入了「大力出奇跡」的時代。採用大規模語料上進行無監督預訓練的深層模型，在下游任務數據上微調一下，即可達到很好的效果。曾經需要反覆調參、精心設計結構的任務，現在只需簡單地使用更大的預訓練數據、更深層的模型便可解

>>阅读原文<<