深度解析MegEngine亞線性顯存優化技術

基於梯度檢查點的亞線性顯存優化方法[1]因爲較高的計算/顯存性價比受到關注。MegEngine通過工程擴展和優化，發展出一套行之有效的增強版亞線性顯存優化技術，既可在計算存儲資源受限的條件下，輕鬆訓練更深的模型，又可以使用更大batch size，進一步提高模型性能，穩定batchwise算子。使用MegEngine訓練ResNet18/ResNet50，顯存佔用分別最高下降23%/40%；在更大

>>阅读原文<<