OpenAI GPT解讀

背景 上篇我們講了transformer的模型架構，論文《Attention is all you need》 也表明了transformer的效果是比RNN和CNN好的，而在ELMo解讀裏，我們也談到了訓練語言模型再結合具體任務即pre-train的思想，這兩者的優勢進行簡單的結合便得到了OpenAI GPT，具體論文見《Improving Language Understanding by G

>>阅读原文<<