teacher-student 網絡架構

最近看了幾篇有關teacher-student架構的paper,感覺收穫挺大的,今天就來總結一下。這個teacher-student模式架構主要的目的就是用來進行深度學習模型的壓縮,屬於model compression領域中的一種比較流行的做法。因爲深度學習下爲了能夠獲得更好的準確率,訓練出的網絡往往結構比價複雜,而對於一些在線預測任務來說,複雜的模型結構不利於線上預測任務的快速響應需求,因此模
相關文章
相關標籤/搜索