把BERT的推斷速度提升17倍

點擊上方「AI公園」，關注公衆號，選擇加「星標「或「置頂」 作者：EMMA NING 編譯：ronghuaiyang 導讀 微軟剛剛開源了Transformer的突破性優化，大大提升了CPU和GPU上的推理速度。 用於自然語言處理的最流行的深度學習模型之一是BERT。由於需要大量的計算，在大規模推斷上BERT計算量非常大，甚至在嚴格的延遲約束下都不可能。最近，我們分享了「Bing has impr

>>阅读原文<<