PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization

就在這幾天微軟發佈了一款參數量多達170億的史上最大的自然語言生成模型 Turing-NLG,在多種語言模型基準上均實現了SOTA。 值得關注的是Turing-NLG在文本摘要上的表現,由於它已經非常善於理解文本了,因此不需要太多的配對數據就可以實現比已有模型更好的效果。 從Facebook的BART、Google的PEGASUS到今天Microsoft的Truing-NLG,越來越大的預訓練數據
相關文章
相關標籤/搜索