把BERT的推斷速度提升17倍

作者：EMMA NING 編譯：ronghuaiyang 導讀 微軟剛剛開源了Transformer的突破性優化，大大提升了CPU和GPU上的推理速度。 用於自然語言處理的最流行的深度學習模型之一是BERT。由於需要大量的計算，在大規模推斷上BERT計算量非常大，甚至在嚴格的延遲約束下都不可能。最近，我們分享了「Bing has improved BERT inference on GPU for

>>阅读原文<<