預訓練綜述

一、簡介 1.1、預訓練影響：          ELMo/GPT/BERT預訓練模型的相繼提出，NLP找到了可以像計算機視覺那樣的遷移學習方法。NLP領域預訓練模型，採用自監督 學習方法，將大量無監督文本送入模型中進行學習，得到可通用的預訓練模型。NLP領域有大量的無監督學習數據。大量研究工作表明，大量的數據可以不斷提高模型的性能表現，與此同時壓縮模型參數也成爲研究熱點，例如ALBERT,ELE

>>阅读原文<<