深度網絡剪枝與輕量化

常見模型剪枝方法 Low-rank Decomposition：低秩分解。將權值矩陣分解爲低秩矩陣 Weight Quantization：權值量化。HashNet 提出去量化網絡的權值。在訓練之前，網絡的權值被hash到不同的組，並且組內的權重是共享的。這樣只有共享的權重和hash indices需要被儲存，可以節省很大一部分存儲空間。然而，這些技術既不能節省運行時的內存，又不能節省推理時間，因

>>阅读原文<<