Low-rank Compression of Neural Nets:Learning the Rank of Each Layer 閱讀筆記

論文地址: paper 代碼地址: code 1. 論文概述 可以通過使用低秩矩陣近似逼近每層權重的方法實現神經網絡的壓縮，但難點在於每層的最佳秩都是一個超參搜索的問題。針對上述問題，本片文章基於秩和矩陣元素提出了一種混合離散-連續優化函數。 本文提出了一種近似解決這個問題的算法，首先針對該問題的描述建立在減小分類網絡的誤差和基於秩的模型選擇損失，利用秩約束網絡的每層卷積。然後這個問題可以通過秩和

>>阅读原文<<