BERT使用心得經驗分享

使用Bert有一段時間了，在項目中確實也能帶來提升，這裏總結下bert的使用心得。 #1，資源的使用 Bert在訓練的過程確實很消耗資源。 上面是Bert模型在12G顯存的顯卡上，每輪的樣本數和句子長度。 開始還擔心Bert模型部署在客戶的機器上能否正常運行。後面測試發現，如果沒有太高的併發，其實在預測階段對顯存的消耗並不高，大概1-2G顯存即可。 #2，模型速度 使用Bert模型一定要跑在GPU

>>阅读原文<<