MONET-Pytorch模型降低3倍內存 | MEMORY OPTIMIZATION FOR DEEP NETWORKS

第一次見到這個領域的文章，Mark一下 論文地址：https://arxiv.org/pdf/2010.14501.pdf Github地址：https://github.com/utsaslab/MONeT. ABSTRACT： 深度學習正在緩慢但穩定地遇到內存瓶頸。 在過去五年中，頂級GPU的張量計算增加了32倍，而總可用內存僅增加了2.5倍。 由於訓練大型網絡需要更多的內存來存儲中間輸出，因

>>阅读原文<<