中文分詞——考慮語義

考慮語義的分詞步驟： 當按照步驟一：生成所有可能的分割；步驟二：選擇其中最好的。這種分開的方法時效率比較低，這裏引入viterbi算法來解決效率問題。 例： 待分詞語句：「經常有意見分歧」 詞典：[「經常」，「經」，「有」，「有意見」，「意見」，「分歧」，「見」，「意」，「見分歧」，「分」] 概率：[0.1, 0.05, 0.1, 0.1, 0.2, 0.2, 0.05, 0.05, 0.05,

>>阅读原文<<