【cs224n-10】Information from parts of words (Subword Models)

    在之前我們處理機器翻譯等任務時,我們通常使用基於word單詞作爲基本單位進行模型的訓練;但基於word單詞的缺點是不能很好地處理單詞不在詞庫中的情況,即out-of-vocabulary;並且對詞法(morphology)的修飾處理也不是很好。因此我們很自然地可以想到可以使用更基礎的組成來建立模型,比如英文中的字母,中文中的字。下文主要講述4種典型方式。 一. Character-Leve
相關文章
相關標籤/搜索