一文讀懂最強中文NLP預訓練模型ERNIE

基於飛槳開源的持續學習的語義理解框架ERNIE 2.0，及基於此框架的ERNIE 2.0預訓練模型，在共計16箇中英文任務上超越了BERT和XLNet, 取得了SOTA效果。本文帶你進一步深入瞭解ERNIE的技術細節。 一：ERNIE 簡介 1.1 簡介 Google 最近提出的 BERT 模型，通過隨機屏蔽15%的字或者word，利用 Transformer 的多層 self-attention

>>阅读原文<<