模型剪枝綜述與心得

接觸剪枝是最近一段時間的事情,爲了全面的系統的學習一下剪枝,筆者作了個論文綜述。從2016年的韓鬆的deep compression 到最新的彩票假設,我主要是將剪枝能夠分爲三個大類。分別是不須要數據參與的硬剪枝,帶數據參與訓練的軟剪枝,以及直接搜索結構的NAS。算法   一:硬剪枝 這類的剪枝算法一般從模型自己的參數出發,尋找或者設計出合適的統計量來代表鏈接的重要性。經過對重要性的排序等算法,刪
相關文章
相關標籤/搜索