REALM: Retrieval-Augmented Language Model Pre-Training 翻譯

REALM: Retrieval-Augmented Language Model Pre-Training Abstract 語言模型預訓練已經顯示出可以捕獲數量驚人的世界知識，這對於NLP任務(例如問題解答)至關重要。 但是，此知識隱式存儲在神經網絡的參數中，需要更大的網絡才能覆蓋更多的事實。 爲了以更模塊化和可解釋的方式捕獲知識，我們使用潛在的知識檢索器增強了語言模型的預訓練，檢索器使模型可

>>阅读原文<<