谷歌終於開源BERT代碼：3 億參數量，機器之心全面解讀

編輯 | 思源&路&曉坤，機器之心受權轉載，勿二次轉載python 最近谷歌發佈了基於雙向 Transformer 的大規模預訓練語言模型，該預訓練模型能高效抽取文本信息並應用於各類 NLP 任務，該研究憑藉預訓練模型刷新了 11 項 NLP 任務的當前最優性能記錄。若是這種預訓練方式能經得起實踐的檢驗，那麼各類 NLP 任務只須要少許數據進行微調就能實現很是好的效果，BERT 也將成爲一種名副其

>>阅读原文<<