OpenAI最新研究：通過無監督學習提高語言理解能力

我們的系統分爲兩個階段：首先，我們通過無監督的方式在大數據集上訓練一個遷移學習模型，訓練過程中使用語言模型的訓練結果作爲信號，然後我們在更小的有監督數據集上對這個模型進行微調，以幫助它解決特定的任務。這個方法的開發是在我們前一個sentiment neuron（情緒神經元）的工作之後進行的，在sentiment neuron任務中我們注意到，通過利用足夠的數據對模型進行訓練，無監督學習可以獲得令人

>>阅读原文<<