ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding 論文翻譯

文前總結： ERNIE2.0的亮點： 1.融合了持續學習（continual Learning）、多任務學習、知識引入等多種套路。 2.構造的任務可以分爲三類：1) word-aware tasks用於教模型捕捉詞彙信息（lexical information）；2) structure-aware task教模型捕捉句法信息（syntactic information）；3) semantic-

>>阅读原文<<