中文分詞學習筆記

1 中文分詞概述 1.1 簡介 定義 通過計算機自動識別出句子中的詞，在詞間加入邊界標記符，分隔出各個詞彙。 爲什麼需要中文分詞？因爲，漢語中，書面上以字爲基本單位，語義上以詞爲基本單位。 難點 1）沒有統一的分詞標準，不同的領域對於詞的劃分方式有不同的標準。 2）歧義消解     例子1：結婚的和尚未結婚的     結婚/的/和/尚未/結婚/的     結婚/的/和尚/未/結婚/的     例子

>>阅读原文<<