論文筆記——Deep Model Compression Distilling Knowledge from Noisy Teachers

論文地址：https://arxiv.org/abs/1610.09650

主要思想

這篇文章就是用teacher-student模型，用一個teacher模型來訓練一個student模型，同時對teacher模型的輸出結果加以噪聲，而後來模擬多個teacher，這也是一種正則化的方法。

1. teacher輸出的結果加噪聲之後，而後和student的輸出結果計算L2 loss，做爲student網絡的反饋。

2. 加噪聲

3. 計算L2 loss

4. 反向傳播，更新參數

5. 算法過程

• 注意：加噪聲的時候對輸入進行了採樣，否則直接全加也太暴力了吧。

等價於基於噪聲的迴歸

實驗結果

1. 對比了不一樣噪聲比例對結果的影響，其實就是調參的過程。

2. 比較了學生加噪聲和教師加噪聲，結果是教師加噪聲效果更加明顯。

3. 比較了教師加噪聲和通常的正則化操做(dropout)

總結

本文想法比較簡單，就是給teacher輸出結果加噪聲，美曰其名，learn from multi teachers.