論文閱讀:CTRL: A CONDITIONAL TRANSFORMER LANGUAGE MODEL FOR CONTROLLABLE GENERATION

核心思想:借鑑多任務,將文本標籤作爲輸入的一部分(放在開頭)控制文本生成。 文本生成最大的問題是難以對其進行控制,本文發佈了一個 1.6 billion 參數的條件 transformer language model,訓練能夠 govern 風格、內容、特定任務行爲等的控制代碼。控制代碼來自與原始文本共現的結構,保留了無監督學習的優點,同時提供對文本生成更明確的控制。 控制模型生成部分,CTRL
相關文章
相關標籤/搜索