監督學習詞向量的方法《Deep contextualized word representations》

原文鏈接 本文發表於自然語言處理領域頂級會議 ACL 2018 摘要 本文提出了一種提取深層次語義特徵的詞向量的方法，該方法是通過一個在大規模語料庫上預訓練得到的模型來提取詞向量的。通過本文方法提取到的詞向量效果十分好，可用於多種類型的NLP任務。本文把這種新的詞向量表示方法稱爲EMLo 模型 本文采用了一種名爲biLM的模型，該模型是一種「雙向」的模型，什麼叫做「雙向」呢？ 假設我們有一個包含N

>>阅读原文<<