什麼是稀疏動量網絡（加速訓練）

稀疏動量：訓練稀疏網絡的有效方法 關於神經網絡的快速訓練，我們在整個訓練過程中都會保持稀疏。我們表明，通過開發稀疏動量算法，我們可以使用稀疏隨機權重初始化神經網絡，並將其訓練爲密集的性能水平-所有這些都僅需執行一次訓練即可。此外，如果我們使用優化的稀疏卷積算法，則可以將VGG的訓練速度提高到3.5倍，而將寬殘差網絡的訓練速度提高到12倍。 這與計算昂貴的方法形成了鮮明的對比，其他工作使用的重複修剪

>>阅读原文<<