BERT輕量化探索—模型裁剪（BERT Pruning）—層數裁剪

繼BERT維度剪枝以後，嘗試了BERT層數暴力裁剪，直接剪掉若干層。app 試驗結果：rest          結論：訓練提高40%左右、效果降低1.2%，推斷速度提高50%。 代碼參考 ： 最簡單的模型輕量化方法：20行代碼爲BERT剪枝   https://cloud.tencent.com/developer/article/1542897， 可是進行了一些調整。code 1）首先，將谷歌

>>阅读原文<<