微調預訓練模型的新姿勢——自集成和自蒸餾

文章目錄 1、什麼是自蒸餾？ 2、爲什麼要自蒸餾？ 3、如何進行自蒸餾？ 4、通過自蒸餾我們可以得到什麼？ 轉載來源：https://zhuanlan.zhihu.com/p/133804801 論文：Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation 鏈接：https://arxiv.org/abs/2002.10

>>阅读原文<<