REALM: Retrieval-Augmented Language Model Pre Training 解讀

知識就是力量 培根   背景 去年可以說是語言模型快速發展的一年，BERT、XLNET、Albert等等模型不斷刷新各個NLP榜單。在NLP榜單中比較引人注目的應該屬於閱讀理解型的任務，例如SQuAD等等。以SQuAD爲例，模型需要閱讀一段給定的文本，然後回答幾個問題，問題如果存在答案，答案一定可以在文章中找到。所以說雖然叫閱讀理解，但其實和序列標註有點相像，是在給定序列中標出答案段。而這篇論文針

>>阅读原文<<