openai-GPT模型

引言 一個對文本有效的抽象方法可以減輕NLP對有監督學習的依賴。目前大多數深度學習方法依靠大量的人工標註信息，這限制了在很多領域的應用。此外，即使在可獲得相當大的監督語料情況下，以無監督學習的方式學到的表示也可以提供顯着的性能提升。到目前爲止，最引人注目的證據是廣泛使用預訓練詞嵌入來提高一系列NLP任務的性能。 結構 OpenAI-GPT提出一種半監督的方式來處理語言理解的任務。使用非監督的預訓練

>>阅读原文<<