BERT 蒸餾在垃圾輿情識別中的探索

簡介：近來 BERT等大規模預訓練模型在 NLP 領域各項子任務中取得了不凡的結果，但是模型海量參數，導致上線困難，不能滿足生產需求。輿情審覈業務中包含大量的垃圾輿情，會耗費大量的人力。本文在垃圾輿情識別任務中嘗試 BERT 蒸餾技術，提升 textCNN 分類器性能，利用其小而快的優點，成功落地。 近來 BERT等大規模預訓練模型在 NLP 領域各項子任務中取得了不凡的結果，但是模型海量參數，導

>>阅读原文<<