teacher-student 網絡架構

最近看了幾篇有關teacher-student架構的paper，感覺收穫挺大的，今天就來總結一下。這個teacher-student模式架構主要的目的就是用來進行深度學習模型的壓縮，屬於model compression領域中的一種比較流行的做法。因爲深度學習下爲了能夠獲得更好的準確率，訓練出的網絡往往結構比價複雜，而對於一些在線預測任務來說，複雜的模型結構不利於線上預測任務的快速響應需求，因此模

>>阅读原文<<