ELECTRA

舉個形象的例子來描述一下BERT和ELECTRA的區別（之前在網上看到的），學習語文的時候，老師爲了加深你對漢語的理解，給你一段話，BERT就像老師會隨機把文章中的詞去掉，讓你根據上下文來填空，我們會根據常識和上下文之間的聯繫填好空缺詞。ELECTRA就像老師加大了難度，把這篇文章的某些詞替換掉（ELECTRA的生成器generator），讓你指出哪些地方用詞不當（ELECTRA的判別器discr

>>阅读原文<<