CNN_模型壓縮加速&移動端部署_蒸餾算法

 總結：離線蒸餾重點在使用小網絡獲得大網絡的能力，在線蒸餾在於提升模型的精度和訓練時間。 現有的加速庫有：Intel的Neural Network Distiller和騰訊的PocketFlow。 一 、離線蒸餾     2014 年Hinton 提出了「dark knowledge」的概念。Dark knowledge，顧名思義，就是隱藏在深度學習表面上所展現出來的網絡結構、節點之間的連接權重、

>>阅读原文<<