中文文本類似度的研究有什麼用

前言

人與計算機的交互過程當中，若是能提供人類的天然語言形式來進行交流，那人與計算機就能更加親密友好。而要實現這一機制就須要天然語言處理來處理，通常來講天然語言處理會涉及幾個學科：計算機科學、語言學、統計學和數學等。

不一樣語言的天然語言處理也存在差異，對於中文來講，不少時候都沒法直接套用英語天然語言處理中相對成熟的理論。有不少基礎工做也是須要咱們本身去作，這就包括了中文類似度。

類似度

中文類似度按照長度能夠有字與字的類似度、單詞與單詞的類似度、句子與句子的類似度、段落與段落的類似度和文章與文章的類似度。

傳統類似度的衡量計算通常可使用編輯距離算法、餘弦值法、SimHash法、n-gram法、漢明距離法、最長公共子串法、最長公共子序列法等等。

類似度計算方法總的能夠歸爲兩類，一類是基於統計的方法，通常用於句子段落這些較大粒度文本。另外一類是基於語義的方法，通常用於詞語或句子等較小粒度文本。

應用場景

中文類似度應用普遍，

• 好比在信息檢索中，信息檢索系統中爲了能召回更多與檢索詞語類似的結果，能夠用類似度來識別類似的詞語，以此提升召回率。
• 好比在自動問答中，自動問答與檢索系統主要的不一樣的是自動問答可使用天然語言交互，而檢索系統通常是經過關鍵詞進行搜索。並且響應也不一樣，自動問答給出一個準確惟一的答案做爲響應，而檢索系統的響應通常有不少相關的結果。類似度在這裏能夠用來計算用戶以天然語言的提問問句與語料庫中問題的匹配程度，那麼匹配度最高的那個問題對應的答案將做爲響應。
• 好比在機器翻譯中，會分析語句的類似度來完成雙語的翻譯，可否準肯定義並計算類似度將影響翻譯的效果，最簡單的類似性分析就是直接利用語句中每一個詞的語法和語義來分析，而若是要更進一步分析的話則是先分析語句的依存樹，而後再計算類似度。
• 好比在自動文摘中，在提取文摘的過程當中要利用類似度對語義類似的句子進行抽取。
• 好比NLP其餘應用領域。

總結

從某種程度上來講，若是能定義一個較好的類似度計算方式，而且能有一個較好的準確性，那麼基本就能解決不少NLP領域文本相關的問題。

=============廣告時間===============

公衆號的菜單已分爲「分佈式」、「機器學習」、「深度學習」、「NLP」、「Java深度」、「Java併發核心」、「JDK源碼」、「Tomcat內核」等，可能有一款適合你的胃口。

鄙人的新書《Tomcat內核設計剖析》已經在京東銷售了，有須要的朋友能夠購買。感謝各位朋友。

爲何寫《Tomcat內核設計剖析》

=========================

相關閱讀：

談談谷歌word2vec的原理

如何用TensorFlow訓練詞向量

歡迎關注：