FastBERT：具有自適應推斷時間的自蒸餾BERT

FastBERT: a Self-distilling BERT with Adaptive Inference Time 寫在前面： 這是北大+騰訊+北師大的ACL2020。作者提出了一種新的inference速度提升方式，sample-wise adaptive mechanism，相比單純的student蒸餾有更高的確定性，且可以自行權衡效果與速度，簡單實用。這篇論文的方法可以說就是爲了解決

>>阅读原文<<