jieba分詞詳解

語音識別中有一項任務就是訓練語言模型，而對於中文的語言模型，需要事先進行分詞。而語音識別中的語言模型還有個特殊的要求，就是語言模型中的所有詞都必須在發音詞典中(也就是說每個詞都要有對應的發音)。因此這就限制了我們不能使用Stanford分詞，哈工大分詞等工具，因爲這些分詞工具分出來的詞有可能不在發音詞典中。現在在語音識別任務中最常使用的是scws機械分詞，和jieba分詞(把hmm分詞選項關了)。

>>阅读原文<<