預訓練語言模型在網易嚴選的應用

導讀：隨着Bert的發佈，預訓練 ( pre-train ) 成爲NLP領域最爲熱門的方向之一，大規模的無監督語料加上少量有標註的語料成爲了NLP模型的標配。本文將介紹幾種常見的語言模型的基本原理和使用方式，以及語言模型在網易嚴選NLP業務上的實踐，包括分類、文本匹配、序列標註、文本生成等。 01 前言 文本的表徵經歷了漫長的發展歷程，從最簡單經典的bow詞袋模型、以LDA爲代表的主題模型、以wo

>>阅读原文<<