Self-training Improves Pre-training for Natural Language Understanding 筆記

self-training，是用訓練好的模型的預測結果 作爲 僞target，混入原訓練集一起訓練， 該文的創新在於提出一種文本相似度算法從海量文本中找出和 訓練集中的文本 相似的文本， 然後用訓練好的模型對這批 找出的相似的文本 進行預測出 僞target，然後混一起，然後是BERT fine-tune， 提升了fine-tune的效果，似乎跟文章題目說的pre-train沒關係。 原文也提到了

>>阅读原文<<