數據挖掘乾貨總結（二）--NLP進階-詳解Jieba分詞工具

NLP進階-詳解Jieba分詞工具 一、Jieba分詞工具 1. 三種模式 • 精確模式：將句子最精確的分開，適合文本分析 • 全模式：句子中所有可以成詞的詞語都掃描出來，速度快，不能解決歧義 • 搜索引擎模式：在精確模式基礎上，對長詞再次切分，提高召回   2.實現的算法 • 基於Trie樹結構實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況的有向無環圖（DAG) • 採用了動態規劃查找最大概

>>阅读原文<<