十倍模型計算時間僅增20%：OpenAI開源梯度替換插件

訓練一個非常深度的神經網絡需要大量內存。通過由 OpenAI 研究員 Tim Salimans 和 Yaroslav Bulatov 聯合開發的工具包，你可以權衡計算力和內存的使用，從而使你的模型更合理地佔用內存。對於前饋模型，我們能夠藉助該工具把大 10 多倍的模型放在我們的 GPU 上，而計算時間只增加 20%。 項目鏈接：https://github.com/openai/gradient-

>>阅读原文<<