論文閱讀:Text-to-Text Pre-Training for Data-to-Text Tasks

文章簡介: 這篇文章內容很簡單,作者對最近發佈的 【1】T5模型應用data-to-text領域的數據進行微調,發現在WebNLG,MultiWoz,ToTTo三個數據集上都優於目前的性能;作者提出可能這種只採用預訓練模型,不需要進行現在文本生成領域流行的規劃生成【2】【3】,詞約束和複製機制方法,同樣也能取得比較好的文本生成效果; 主要內容: 預訓練: 實驗T5模型:Small (60 mill
相關文章
相關標籤/搜索