文本分析之中文分詞

在處理文本分析時，我們經常須要面臨的一個問題就是分詞，特別是在中國當前的IT環境下。大部分文本數據都是中文，中文和英文有一些不一樣。中文字與字之間沒有明顯的分隔符。而英文單詞與單詞之間有自然的空格符來分隔。中文分詞屬於自然語言處理的範疇，中文分詞廣泛應用於搜索引擎，在線機器翻譯等領域。 分詞經常使用的方法主要有下面三類，一個是基於字典匹配的分詞方法，一個是基於語義分析的分詞算法，另一個是基於概率統

>>阅读原文<<