ERNIE（二妮兒）模型初探

ERNIE 1.0 1.0版本較BERT更改較少，結構如上圖，主要表現在三個方面：（1）調整MASK策略；（2）增加異質數據；（3）增加DLM（Dialogue Language Model）任務。 （1）調整MASK策略 BERT中是隨機MASK掉15%的words，並嘗試在MLM任務中恢復。而ERNIE模型ERNIE的mask的策略是通過三個階段學習的，在第一個階段，採用的是BERT的模式，用

>>阅读原文<<