谷歌開源 BERT：最早進的 NLP 預訓練技術，支持中文和更多語言

谷歌本週開源了一種 NLP 預訓練新技術Bidirectional Encoder Representations from Transformers（BERT）。 這次發佈的版本中，世界上任何人均可以在一個雲 TPU 上花費大約 30 分鐘，或使用單個 GPU 在幾個小時內訓練他們本身最早進的問答系統（或各類其餘模型）。該版本包括在 TensorFlow 之上構建的源代碼和許多預先訓練的語言表示模型。在咱們的相關論文中，展現了包括斯坦福問答數據集（SQUAD v1.1）在內 11 個 NLP 任務的最新結果 .......

爲了評估性能，將 BERT 與其餘最早進的 NLP 系統進行了比較。實驗中，幾乎沒有針對特定任務而對神經網絡架構進行更改。在 SQuAD v1.1 上，BERT 得到了 93.2％ 的 F1 分數（一種準確度的衡量指標），超過了以前最高水準的分數 91.6％ 和人類分數 91.2％。

....... 點擊此處閱讀原文