openai-GPT模型

引言 一個對文本有效的抽象方法能夠減輕NLP對有監督學習的依賴。目前大多數深度學習方法依靠大量的人工標註信息，這限制了在不少領域的應用。此外，即便在可得到至關大的監督語料狀況下，以無監督學習的方式學到的表示也能夠提供顯着的性能提高。到目前爲止，最引人注目的證據是普遍使用預訓練詞嵌入來提升一系列NLP任務的性能。web 結構 OpenAI-GPT提出一種半監督的方式來處理語言理解的任務。使用非監督的

>>阅读原文<<