知識蒸餾（Distillation）

蒸餾神經網絡取名爲蒸餾（Distill），實際上是一個很是形象的過程。html 咱們把數據結構信息和數據自己看成一個混合物，分佈信息經過幾率分佈被分離出來。首先，T值很大，至關於用很高的溫度將關鍵的分佈信息從原有的數據中分離，以後在一樣的溫度下用新模型融合蒸餾出來的數據分佈，最後恢復溫度，讓二者充分融合。這也能夠當作Prof. Hinton將這一個遷移學習過程命名爲蒸餾的緣由。網絡   蒸餾神經網

>>阅读原文<<