文獻閱讀筆記—Universal Language Model Fine-tuning for Text Classification

一、問題描述 這是一篇18年的ACL文章。以前的nlp遷移學習，要麼是使用task數據fine-tuning詞向量（如glove這種），相當於更改模型的第一層，要麼是將其他任務得到的詞向量和本任務的輸入concat起來，但其實這些pretrain的詞向量都是被當做固定參數用的，且該任務的模型是從頭訓練的。因此出現了pretrain語言模型（language model），但是語言模型容易在小型數據

>>阅读原文<<