Like What You Like: Knowledge Distill via Neuron Selectivity Transfer 論文翻譯

摘要 儘管深度神經網絡已經在各種各樣的應用中表現出非凡的效果，但是其優越的性能是以高存儲和計算成本爲代價的。因此，神經網絡的加速和壓縮近來引起了人們極大的關注。知識遷移（KT），旨在通過從較大的教師模型遷移知識來訓練一個較小的學生網絡，是流行的解決方案之一。在本文中，我們通過將其視爲一個分佈匹配問題來提出一個新的知識遷移方法。特別地，我們匹配教師和學生網絡之間的神經元選擇性模式的分佈。爲了實現這一

>>阅读原文<<