MobileBERT架構

整理自網絡，主要方便自己查詢和記憶 （a）BERT，（b）MobileBER Tteacher模型和（c）MobileBERT student模型中的Transformer架構可視化。標有「linear」的綠色梯形稱爲bottlenecks。 知識遷移技術 （a）輔助知識遷移，（b）聯合知識遷移，（c）漸進知識遷移。  通過逐步的知識遷移過程來訓練MobileBERT的這些變體是最有效 Mobil

>>阅读原文<<