深度學習------Lingvo框架下的加速通道GPipe

開源地址：https://github.com/tensorflow/lingvo/blob/master/lingvo/core/gpipe.py BigGan、BERT和GPT-2的出現表明，越大的神經網絡模型可以帶來越好的性能。其中能寫出各種假新聞的GPT-2參數就有15億個之多。 如果你也在訓練一個參數超多的模型，那麼現在有個好消息要告訴你。 谷歌在最近公佈的Lingvo框架下開源了GPi

>>阅读原文<<