巨省顯存的重計算技巧在TF、Keras中的正確打開方式

一隻小狐狸帶你解鎖 煉丹術&NLP 祕籍python 做者：蘇劍林（來自追一科技，人稱「蘇神」） 前言 在前不久的文章《BERT重計算：用22.5%的訓練時間節省5倍的顯存開銷（附代碼）》中介紹了一個叫作「重計算」的技巧（附pytorch和paddlepaddle實現）。簡單來講重計算就是用來省顯存的方法，讓平均訓練速度慢一點，但batch_size能夠增大好幾倍，該技巧首先發佈於論文《Train

>>阅读原文<<