【推薦系統】知識蒸餾概述

一、 知識蒸餾是什麼 知識蒸餾主要處理的是模型的有效性和效率之間的平衡問題： 模型越來越深、越來越複雜，導致模型上線後相應速度太慢，無法滿足系統的低延遲要求。 知識蒸餾就是目前一種比較流行的解決此類問題的技術方向。 一般爲teacher-student模式，主要思想是用一個複雜的、較大的teacher model去指導簡單的、較小的student model的學習。 線上使用的是student小模

>>阅读原文<<