《FastBERT: a Self-distilling BERT with Adaptive Inference Time》（ACL-2020）論文閱讀

前言 論文地址：https://arxiv.org/pdf/2004.02178.pdf 代碼地址：https://github.com/autoliuweijie/FastBERT Abstract 目的：提高bert速度，且儘可能減少性能損失 該模型在微調時採用了獨特的自蒸餾機制（self-distillation ），從而進一步提高了計算效率，而性能損失卻最小。 1、Introduction

>>阅读原文<<