word2Vec學習筆記

Word2Vec學習筆記 一、n-gram語言模型 1.1 n-gram語言模型介紹 自然語言是一個連續的概率模型，當前位置出現哪個詞和這個詞前面出現了哪些詞是緊密關聯的，如在前面出現了「我愛自然語言」後面就有很大概率出現「處理」這個詞。但是若將詞與它前面的所有詞進行關聯，又會使計算量過大，爲簡化計算，將當前詞出現的概率僅僅和該詞前面出現的n個詞進行關聯，這就產生了n-gram語言模型，公式表達如

>>阅读原文<<