ERNIE: Enhanced Representation through Knowledge Integration（百度）論文翻譯

paper：https://arxiv.org/pdf/1904.09223.pdf code：https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE 文前總結 ERNIE相比於BERT，做出瞭如下改進： 1.mask策略。BERT只使用了字級別的隨機masking，但是ERNIE使用了字、實體、短語三個級別的masking，旨在使模型學習到

>>阅读原文<<