全棧 - 18 NLP 詞嵌入的概念和實現

這是全棧數據工程師養成攻略系列教程的第十八期：18 NLP 詞嵌入的概念和實現。

詞嵌入（Word Embedding）是一項很是重要且應用普遍的技術，能夠將文本和詞語轉換爲機器可以接受的數值向量，這裏咱們詳細討論其概念和實現。

語言的表示

如何向計算機解釋一個詞語的意思？或者說如何表示一個詞語才能恰當地體現出其包含的語義？看到「蘋果」這個詞時，咱們會聯想起能夠吃的蘋果這一水果，還會聯想起喬布斯建立的蘋果公司，所以一個詞能夠包含多重語義。若是讓計算機分析「蘋果」和「梨子」兩個詞之間的相關性，經過字符串匹配只能獲得徹底不相等的結論，可是咱們知道它們都屬於水果，所以詞語所蘊含的語義每每很是複雜，沒法經過簡單的字符串表示。

語言的表示主要有兩種：符號主義和分佈式表示。

符號主義中典型的表明是Bag of words，即詞袋模型。若是將語料詞典中的每一個詞都看做一個袋子，那麼一句話無非是選擇一些袋子，而後將出現的詞丟入相應的袋子。用數學的語言來講，假設詞典中一共有N個詞，就能夠用N個N維向量來表示每一個詞。如下是用Python描述的一個簡單例子，這裏的詞典中只有5個詞：蘋果、梨子、香蕉、和、好吃，分別用一個5維向量表示，僅對應的維度上爲1，其餘維度都爲0。基於詞袋模型能夠方便地用一個N維向量表示任何一句話，每一個維度的值即對應的詞出現的次數。

# 詞典：蘋果、梨子、香蕉、和、好吃
dictionary = {
    "蘋果": [1, 0, 0, 0, 0],
    "梨子": [0, 1, 0, 0, 0],
    "香蕉": [0, 0, 1, 0, 0],
    "和": [0, 0, 0, 1, 0],
    "好吃": [0, 0, 0, 0, 1]
}

# 蘋果好吃：[1, 0, 0, 0, 1]
# 梨子和香蕉好吃：[0, 1, 1, 1, 1]
# 蘋果好吃蘋果好吃：[2, 0, 0, 0, 2]複製代碼

詞袋模型雖然簡單，但其缺點也十分顯著。

• 當詞典中詞的數量增大時，向量的維度將隨之增大。雖然經常使用的漢字只有幾千個，可是依然會給計算帶來很大的不便；
• 不管是詞仍是句子的表示，向量都過於稀疏，除了少數維度以外的大多數維度都爲0；
• 每一個詞所對應的向量在空間上都兩兩正交，任意一對向量之間的內積等數值特徵都爲零，沒法表達詞語之間的語義關聯和差別；
• 句子的向量表示丟失了詞序特徵，即「我很不高興」和「不我很高興」對應的向量相同，而這顯然是不符合語義的。

分佈式表示中典型的表明是Word Embedding，即詞嵌入，使用低維、稠密、實值的詞向量來表示每個詞，從而賦予詞語豐富的語義含義，並使得計算詞語相關度成爲可能。以最簡單的狀況爲例，若是使用二維向量來表示詞語，那麼能夠將每一個詞看做平面上的一個點，點的位置即橫縱座標由對應的二維向量肯定，能夠是任意且連續的。若是但願點的位置中蘊含詞的語義，那麼平面上位置相鄰的點應當具備相關或類似的語義。用數學的語言來講，兩個詞具備語義相關或類似，則它們所對應的詞向量之間距離相近，度量向量之間的距離可使用經典的歐拉距離和餘弦類似度等。

詞嵌入能夠將詞典中的每一個詞映射成對應的詞向量，一個好的詞嵌入模型應當知足如下兩方面要求：

• 相關：語義相關或類似的詞語，它們所對應的詞向量之間距離相近，例如「蘋果」和「梨子」的詞向量距離相近；
• 類比：具備類比關係的四個詞語，例如男人對於女人，類比國王對於王后，知足男人-女人=國王-王后，即保持詞向量之間的關聯類比，其中的減號表示兩個詞向量之間求差。

這樣一來，經過詞嵌入模型獲得的詞向量中既包含了詞自己的語義，又蘊含了詞之間的關聯，同時具有低維、稠密、實值等優勢，能夠直接輸入到計算機並進行後續分析。但詞典中的詞如此之多，詞自己的語義便十分豐富，詞之間的關聯則更爲複雜，因此相對於詞袋模型，訓練一個足夠好的詞向量模型更加困難。

訓練詞嵌入模型

詞嵌入模型的訓練主要是基於無監督學習，從大量文本語料中學習出每一個詞的最佳詞向量，例如維基百科、大量新聞報道等。訓練的核心思想是，語義相關或類似的詞語，每每具備類似的上下文，即它們常常在類似的語境中出現，例如「蘋果」和「梨子」的上下文中可能都會出現相似「吃」、「水果」等詞語，可使用「開心」的語境每每也能使用「高興」。

詞嵌入模型中的典型表明是Word2Vec，模型實現原理能夠參考Mikolov的兩篇文章，Distributed Representations of Words and Phrases and their Compositionality，Efficient Estimation of Word Representations in Vector Space，主要包括CBOW和Skip-Gram兩個模型，前者根據上下文預測對應的當前詞語，後者根據當前詞語預測相應的上下文。若是但願進一步深刻理解詞嵌入模型訓練的原理和細節，能夠仔細研讀以上兩篇文章。若是僅須要應用詞嵌入模型，則直接瞭解如何用代碼實現便可。

代碼實現

gensim是一款開源的Python工具包，用於從非結構化文本中無監督地學習文本隱層的主題向量表示，支持包括TF-IDF、LSA、LDA和Word2Vec在內的多種主題模型算法，並提供了諸如類似度計算、信息檢索等一系列經常使用任務的API接口。如下是gensim官網對於其中Word2Vec模型的介紹，radimrehurek.com/gensim/mode…，裏面提供了和Word2Vec相關的完整使用文檔。

一樣，若是沒有gensim的話，使用pip安裝便可。

pip install gensim複製代碼

另外，gensim僅提供了Word2Vec的模型實現，訓練詞向量的另外一個必須條件是足夠大的文本語料。這裏咱們將要使用的是中文維基百科語料，我已經整理成文本文件並放在網盤上，直接下載便可，pan.baidu.com/s/1qXKIPp6，提取密碼爲kade。

下載以後能夠在Sublime中打開並查看其內容，文件名和後綴名能夠不用在乎，由於Sublime支持打開任意類型的文本文件。其中每一行是一條維基百科，即一項詞條對應的百科內容，而且已經完成了分詞處理。

如下代碼使用gensim提供的Word2Vec模型訓練並使用詞向量，主要包括加載包、訓練模型、保存模型、加載模型、使用模型等步驟。

# 加載包
from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence

# 訓練模型
sentences = LineSentence('wiki.zh.word.text')
# size：詞向量的維度
# window：上下文環境的窗口大小
# min_count：忽略出現次數低於min_count的詞
model = Word2Vec(sentences, size=128, window=5, min_count=5, workers=4)

# 保存模型
model.save('word_embedding_128')

# 若是已經保存過模型，則直接加載便可
# 前面訓練並保存的代碼均可以省略
# model = Word2Vec.load("word_embedding_128")

# 使用模型
# 返回和一個詞語最相關的多個詞語以及對應的相關度
items = model.most_similar(u'中國')
for item in items:
    # 詞的內容，詞的相關度
    print item[0], item[1]

# 返回兩個詞語之間的相關度
model.similarity(u'男人',  u'女人')複製代碼

除此以外，gensim中的Word2Vec還實現了多項NLP功能，例如從多個詞中找出和其餘詞相關性相對更弱的一個，以及根據給定的三個詞類比推理出第四個詞等，詳細使用方法能夠參考官方完整文檔。

視頻連接：詞嵌入的概念和實現

若是以爲文章不錯，不妨點一下左下方的喜歡～