[NLG] Pretraining for Conditional Generation with Pseudo Self Attention

摘要：   這篇文章的主要idea就是如何用現在已經有的語言模型，稍微引導一下生成基於某些條件的話語。如給個情感，生成一個帶情感的句子。作者在GPT2的結構上稍微修改了self-attention機制，命名爲Pseudo-Self，在decoder的時候引入外部控制，並且這樣做能夠儘量小的影響GPT2之前的訓練參數，達到的很好的效果。   模型： 作者主要對比了前面兩種工作，關於這兩種工作不做闡述

>>阅读原文<<