深度神經網絡模型訓練時GPU顯存不足怎麼辦？

前言python 最近跑的模型都比較大，尤爲是Bert， 這真的是難爲我 1080ti 了， 在Bert的Example中，官方提供了一些 Trick 來幫助咱們加速訓練，很良心， 但感受還不夠，因而花費一些時間整理出一個 Trick 集合，來幫助咱們在顯存不足的時候來嘿嘿嘿。web 本文分爲兩大部分，第一部分引入一個主題：如何估計模型所需顯存， 第二個主題：GPU顯存不足時的各類 Trick 。

>>阅读原文<<