隱形馬爾科夫模型和序列標註

隱形馬爾科夫模型和序列標註 引出        在做n元語法模型中,利用的維特比算法求解似然概率最大的路徑詞語級別的模型無法應對 OOV(Out of Vocabulary,即未登錄詞) 。對於相對陌生的新詞之前的分詞算法識別不出,因此我們需要更細粒度的模型,比詞語更細粒度的就是字符。具體說來,只要將每個漢字組詞時所處的位置(首尾等)作爲標籤,則中文分詞就轉化爲給定漢字序列找出標籤序列的問題。一般
相關文章
相關標籤/搜索