人工智能-天然語言處理

pypinyin

百度AI的語音識別並不能很好的識別中文同音字,好比'圓圓','媛媛','園園'等,它是根據用戶搜索關鍵字的熱度來識別的,那麼遇到中文同音字的問題要怎麼處理呢?

如今就要用到Python強大的三方庫了,叫 pypinyin

舉個小例子:

from pypinyin import TONE,TONE2,TONE3,lazy_pinyin

a = '我叫媛媛'

res = lazy_pinyin(a,TONE)
res2 = lazy_pinyin(a,TONE2)
res3 = lazy_pinyin(a,TONE3)
print(res)
print(res2)
print(res3)

結果:

['wǒ', 'jiào', 'yuàn', 'yuàn']
['wo3', 'jia4o', 'yua4n', 'yua4n']
['wo3', 'jiao4', 'yuan4', 'yuan4']

建議你們使用TONE2或者TONE3, 對ASCII碼的檢索速度更快一點,不包含特殊字符,檢索深度低.

 

jieba 分詞

好的,中文同音字的問題解決了,那麼,新的問題又有了,中華語言博大精深,一個問題,N多種問法,好比: '你是誰?',能夠是'你叫什麼名字?','你的名字叫什麼?'等等,那麼,怎麼才能把這麼多問法都指向同一個問題呢?這就引出了人工智能中的另外一項技術:

天然語言處理(NLP) : 大概意思就是 讓計算機明白一句話要表達的意思,NLP就至關於計算機在思考你說的話,讓計算機知道"你是誰","你叫啥","你叫什麼名字"是一個意思

這就要作 : 語義類似度

接下來咱們用Python大法來實現一個簡單的天然語言處理

如今又要用到Python強大的三方庫了

第一個是將中文字符串進行分詞的庫叫 jieba

pip install jieba

咱們一般把這個庫叫作 結巴分詞 確實是結巴分詞,並且這個詞庫是 made in china , 基本用一下這個結巴分詞:

import jieba

key_word = "小白兔,白又白,兩隻耳朵豎起來"  # 定義一句話,基於這句話進行分詞
# jieba.add_word('白又白')  #添加關鍵字,添加的關鍵字就不會被拆分,好比如今的結果就是: ['白兔', '小白兔', ',', '白又白', ',', '兩隻', '耳朵', '豎起', '來']

cut_word = jieba.cut_for_search(key_word)  # 使用結巴分詞中的cut方法進行分詞,cut_for_search是基於某搜索引擎進行分詞的,比cut分得更細微

print(cut_word)  # 結果是個生成器

cut_word_list = list(cut_word) 

print(cut_word_list)  # ['白兔', '小白兔', ',', '白', '又', '白', ',', '兩隻', '耳朵', '豎起', '來']

 

gensim

分詞以後,就是開始下一步了.

第二個是一個語言訓練庫叫 gensim

pip install gensim

這個訓練庫很厲害, 裏面封裝不少機器學習的算法, 是目前人工智能的主流應用庫,這個不是很好理解, 須要必定的Python數據處理的功底

Gensim是一款開源的第三方Python工具包，用於從原始的非結構化的文本中，無監督地學習到文本隱層的主題向量表達。 
它支持包括TF-IDF，LSI，LDA，和word2vec在內的多種主題模型算法， 
支持流式訓練，並提供了諸如類似度計算，信息檢索等一些經常使用任務的API接口

import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities

l1 = ["你的名字是什麼", "你今年幾歲了", "你有多高你腳多大", "你腳多大"]
a = "你今年多大了"

all_doc_list = []
for doc in l1:
    doc_list = [word for word in jieba.cut(doc)]
    all_doc_list.append(doc_list)

print(all_doc_list)
doc_test_list = [word for word in jieba.cut(a)]

# 製做語料庫
dictionary = corpora.Dictionary(all_doc_list)  # 製做詞袋
# 詞袋的理解
# 詞袋就是將不少不少的詞,進行排列造成一個 詞(key) 與一個 標誌位(value) 的字典
# 例如: {'什麼': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '幾歲': 7, '多': 8, '有': 9, '腳多大': 10, '高': 11}
# 至於它是作什麼用的,帶着問題往下看

print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))

corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# 語料庫:
# 這裏是將all_doc_list 中的每個列表中的詞語 與 dictionary 中的Key進行匹配
# 獲得一個匹配後的結果,例如['你', '今年', '幾歲', '了']
# 就能夠獲得 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1表明的的是 你 1表明出現一次, 5表明的是 了  1表明出現了一次, 以此類推 6 = 今年 , 7 = 幾歲
print("corpus", corpus, type(corpus))

# 將須要尋找類似度的分詞列表 作成 語料庫 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list)
print("doc_test_vec", doc_test_vec, type(doc_test_vec))

# 將corpus語料庫(初識語料庫) 使用Lsi模型進行訓練
lsi = models.LsiModel(corpus)
# 這裏的只是須要學習Lsi模型來了解的,這裏不作闡述
print("lsi", lsi, type(lsi))
# 語料庫corpus的訓練結果
print("lsi[corpus]", lsi[corpus])
# 得到語料庫doc_test_vec 在 語料庫corpus的訓練結果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])

# 文本類似度
# 稀疏矩陣類似度 將 主 語料庫corpus的訓練結果 做爲初始值
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))

# 將 語料庫doc_test_vec 在 語料庫corpus的訓練結果 中的 向量表示 與 語料庫corpus的 向量表示 作矩陣類似度計算
sim = index[lsi[doc_test_vec]]

print("sim", sim, type(sim))

# 對下標和類似度結果進行一個排序,拿出類似度最高的結果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)

text = l1[cc[0][0]]

print(a,text)