《REALM: Retrieval-Augmented Language Model Pre-Training》論文筆記

1、前言 2019年可以說是語言模型快速發展的一年，BERT、XLNET、Albert等等模型不斷刷新各個NLP榜單。在NLP榜單中比較引人注目的應該屬於閱讀理解型的任務，例如SQuAD等等。以SQuAD爲例，模型需要閱讀一段給定的文本，然後回答幾個問題，問題如果存在答案，答案一定可以在文章中找到。所以說雖然叫閱讀理解，但其實和序列標註有點相像，是在給定序列中標出答案段。而這篇論文針對的問題叫開放

>>阅读原文<<