論文筆記- Improving Word Representations via Global Context and Multiple Word Prototypes

綜述 提出了一種新的基於神經網絡的語言模型，通過對局部上下文和全局上下文進行聯合訓練。該模型學習到的embedding能同時捕捉到單詞語義信息和語法信息，並且能夠實現對一詞多義的區分。 目標函數 本文的目標是學習有效的單詞表示，而不是根據給定的單詞來預測下一個單詞的概率。給定序列s和文檔d，本文的目標是從其它隨機選擇的單詞中找到位於s末尾的正確單詞。替換單詞後的序列爲 s w s^w sw。 C

>>阅读原文<<