Transformer端側模型壓縮——Mobile Transformer

隨着Transformer模型在NLP、ASR等序列建模中的普及應用，其在端側等資源受限場景的部署需求日益增加。經典的mobile-transformer結構包括evolved tansformer、lite-transformer、mobile-bert、miniLM等模型，藉助結構改進、知識蒸餾等策略實現了transformer模型的小型化、並確保精度魯棒性。 1. The Evolved T

>>阅读原文<<