【論文閱讀筆記】Linguistic Knowledge and Transferability of Contextual Representations

本文發佈在arxiv 2019 preprint         通過十六種不同的探究任務來研究語境化知識和語境化詞語表示的可遷移性。預訓練的上下文相關詞向量足以在廣泛的NLP任務中實現高性能。對於需要特定信息但未被上下文單詞表示捕獲的任務，學習特定任務的上下文特徵有助於在詞向量中編碼必要的知識。此外，對情境化層的可遷移性模式的分析表明，LSTM的最低層編碼最具可遷移的特徵，而Transoform

>>阅读原文<<