bert多GPU訓練

1、背景介紹 由於google官方bert不支持GPU並行化訓練，在git上找了相關的multi gpu的都沒法跑起來，心裏無比的憤怒，花了幾天時間，百度，google,查找各類方法，終於把bert multi gpu 訓練成功搞定，如下記錄詳細各類採坑過程，以便相關同窗學習。html 2、所須要的軟件 先列出來硬件軟件版本 1.centos 7 服務器 兩塊P40 GPU 2.tensorflo

>>阅读原文<<