變分互信息蒸餾(Variational mutual information KD)

原文標題是Variational Information Distillation for Knowledge Transfer,是CVPR2019的錄用paper。 VID方法 思路比較簡單,就是利用互信息(mutual information,MI)的角度,增加teacher網絡與student網絡中間層特徵的MI,motivation是因爲MI可以表示兩個變量的依賴程度,MI越大,表明兩者的
相關文章
相關標籤/搜索